跳到正文
arXiv cs.CL· Chu Fei Luo, Samuel Dahan, Xiaodan Zhu·· 9 小时前AI 评分31

把提问当作隐藏状态探针:LLM 测试时推理中的自我诊断与纠错鸿沟

What Am I Missing? Question-Answering as Hidden State Probing

AI 导读

研究将“向教师模型提问”作为推理时干预,在学生模型提问前后的隐藏状态上训练探针,发现该探针在教师给出答案前就能预测最终正确性,说明提问过程本身带有自我诊断信号。作者进而把提问建模为序列决策问题,用探针作质量分数定义门控策略以最大化正确率。实验显示提问干预的效果高度依赖模型自我一致性,且诊断与纠错之间存在鸿沟:干预伤害正确轨迹的概率与挽回错误轨迹相当。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)中测试时推理的研究因其对许多任务的深远影响而受到越来越多的关注,早期工作可追溯到思维链推理等方法。然而,测试时推理过程的基本机制仍未得到充分研究:从相同的输入提示,甚至相同的部分解答出发,如果多次采样,LLM 可能产生不同的答案。在本文中,我们将提问作为一种推理时干预手段,用以表达关于模型隐藏状态的信息。具体而言,我们提出一种学生-教师设置,其中学生向教师提问。我们在学生提问前后的隐藏状态上训练一个探针,发现它能够预测轨迹的最终正确性,甚至在生成教师答案之前就能预测。这表明,存在一种有意义的信号来自提问生成过程中发生的自我诊断,而非来自教师的信息传递。随后,我们将提问构建为序列决策问题,使用该探针作为质量分数,并定义一种门控策略来提出使正确性可能性最大化的问题。我们发现,提问作为一种干预手段的成功在很大程度上取决于模型的自我一致性。我们的实证结果显示了检测与恢复之间的差距;尽管我们的门控策略能够捕捉模型的正确性和不确定性,但干预措施损害正确轨迹的可能性与恢复错误轨迹的可能性一样大。诊断与纠正之间的这一差距对语言模型在不确定性下进行自我改进的能力具有更广泛的意义。
主题: 计算与语言(cs.CL)
引用为: arXiv:2605.31561 [cs.CL]
  (或 arXiv:2605.31561v2 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2605.31561

由 DataCite 颁发 arXiv DOI

提交历史

来自:Chu Fei Luo [查看邮箱]
[v1] 2026年5月29日星期五 17:27:07 UTC(200 KB)
[v2] 2026年11月16日星期一 19:48:28 UTC(256 KB)

来源:arXiv cs.CL · arxiv.org