arXiv cs.CL· Shubham Subhnil, Yannis Belkhiter, Erik Miehling, Adam Dahlgren Lindstr\"om, Elizabeth M. Daly·· 2 天前AI 评分22
隐藏状态探针能否定位推理失败步骤？4B 与 8B 推理模型上的有效性研究
Effectiveness of Hidden-State Probes for Localizing Reasoning Failures
AI 导读
研究测试了 4B 和 8B 推理模型的隐藏状态探针能否区分推理失败的三种情形并定位出错步骤。在 8B 模型的错误推理链上，置信度探针漏掉了 81% 的"单步导致不可恢复"案例和 47% 的"重试即可成功"案例，且换一种训练设计会反转这两类失败的排序。两个规模下，没有任何探针在定位失败步骤上优于仅基于推理链长度的规则，4B 上专门预测该步骤的探针在 10 次相同推理链运行中均未胜出。
正文 · AI 翻译
摘要：验证长推理链的最终答案可能会表明该推理链是错误的，但无法区分三种情况。问题可能超出模型的能力范围，另一次尝试会成功，或者在一个本可恢复的推理链中某一步导致其失败。标准的隐藏状态探针是在最终答案正确性上训练的，而这一标签混淆了这些情况。蒙特卡洛展开可以区分这些情况并定位失败步骤，但会增加额外的推理成本。我们测试了 4B 和 8B 推理模型的隐藏状态，以判断失败类型和失败步骤，并将每个探针与不使用隐藏状态的最强基线进行比较。在错误的 8B 推理链上，置信度探针（一种在中点截断处校准的正确性探针）漏掉了 81% 的因单步导致推理链不可恢复的情况，以及 47% 的另一次尝试会成功的情况。在同一批状态上采用不同训练设计的探针会颠倒这两类失败的排序，因此从这些状态中可以读出任意一种排序。在两个规模上，没有任何一个受测探针在定位失败步骤方面比仅基于推理链长度的规则更准确，而在 4B 规模上，一个被训练用于预测该步骤的探针在相同推理链上的 10 次运行中均未能超越该规则。因此，置信度探针表明答案是错误的，但其失败类型排序取决于其训练设计。
| 评论： | 被 NeurIPS 2026 可解释性作为科学研讨会（InterpScience）接收。OpenReview：此 https URL。30 页，5 幅图，13 张表。代码：此 https URL；数据：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2610.22046 [cs.LG] |
| （或 arXiv:2610.22046v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22046 arXiv 通过 DataCite 颁发的 DOI（待注册） |
|
| 期刊 参考： | Interpretability as a Science: NeurIPS 2026 Workshop, 2026 |
提交历史
来自：Shubham Subhnil [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 15:15:40 UTC（119 KB）
来源：arXiv cs.CL · arxiv.org