arXiv cs.CL· Juan Terven, Diana-Margarita C\'ordova-Esparza, Ruben Gomez, Carlos Miranda Rocha, Julio-Alejandro Romero-Gonz\'alez, Edgar Chavez-Urbiola·· 6 天前AI 评分27
语言模型能否学会何时拒答？策略学习与校准答案选择
Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
AI 导读
研究在 Qwen3-14B 上对比训练模型自身与训练独立答案选择器两种拒答策略，采用奖励正确答案、惩罚错误并允许弃答的评分。在 TriviaQA 上，学习式选择器将平均覆盖率从 20.2% 提升至 30.9%，计分答案的合并错误率从 23.0% 降至 14.5%（exact-match 评分）。
正文 · AI 翻译
摘要：一个有用的语言模型应当知道何时作答、何时说“我不知道”。我们能否通过训练模型本身，或训练一个单独的组件来核查其答案，从而改进这一决策？我们在 Qwen3-14B 上针对事实性问题研究了这两种方法，使用一种对正确答案给予奖励、对错误予以惩罚并允许弃权的评分。在三个训练种子和两个留出置信度阈值下，学习得到的答案选择器在阈值平均效用上优于原始模型经校准的置信度过滤器。在 TriviaQA 上，平均覆盖率从 20.2% 提升至 30.9%，而在精确匹配评分下，已评分答案中的合并错误率从 23.0% 降至 14.5%。所测试的强化学习改动未能确立一致的增益。在 NQ-Open 上，选择器在阈值平均效用上优于过滤器，但仍不如始终弃权。一项部分经人工复核的审计保持了 TriviaQA 的发现。我们的结果支持在此设定下学习选择答案，同时表明跨数据集的可靠弃权仍未解决。
| 评论： | 17 页，2 幅图，10 张表 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.13821 [cs.CL] |
| （或 arXiv:2610.13821v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13821 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Juan Terven [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 16:33:27 UTC（432 KB）
来源：arXiv cs.CL · arxiv.org