arXiv cs.CL· Jaewon Sok, Jewon Yeom, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim·· 12 小时前AI 评分39
研究揭示 LLM 闭卷问答错误多源于首 token 召回失败，首 token 提示可修复
On the Tip of the Tongue: First-Token Cueing as a Behavioral Probe of Recall Failures in LLMs
AI 导读
研究者提出 First-Token Cueing 行为探针，用正确答案的首个 token 预填回复，发现许多闭卷错误实为首 token 召回失败。在 16 个开源模型上，仅这一个 token 就能纠正英文多 token 答案中五分之一到一半的错误，并在多语言基准的全部 7 种语言上提升准确率。模型对正确开头比对同等先验概率的错误开头更有信心，但无正确答案时很少能自行找到。
正文 · AI 翻译
摘要：大型语言模型在闭卷设置下常常错误地回答事实性问题，此类错误通常被归因于知识缺失。然而模型往往编码了它们未能给出的答案。我们表明，许多闭卷错误是首 token 召回失败：模型固着于错误的首 token，但一旦给出正确首 token，它便能补全答案，且常常将其识别为正确。我们通过 First-Token Cueing 对此进行研究，这是一种行为探测方法，用金标准答案的首 token 预填回答。模型的不确定性在答案首 token 处达到峰值，而它在此处已能预测正确性；在任意长度的金标准前缀中，仅首 token 就贡献了恢复错误的最大份额。在 16 个开源模型中，这一个 token 在英语问答的多 token 答案上纠正了五分之一到一半的错误，并在多语言基准的全部七种语言中提升了准确率。它所纠正的大多数错误也能被模型自身采样的推理所解决，这是编码知识的一项判据；并且模型能识别出它们并未给出的正确开头：它们续写正确开头时比续写同一答案类型且先验概率相同的错误开头更有信心，但若没有金标准答案则很少能找到它。这些结果在首个解码步骤定位出一类可恢复的事实性错误，推理时方法或可在此获得最大收益。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23400 [cs.CL] |
| （或 arXiv:2610.23400v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.23400 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaewon Sok [查看邮箱]
[v1]
2026年10月16日星期五 12:55:36 UTC（3,305 KB）
来源：arXiv cs.CL · arxiv.org