arXiv cs.CL· Hengyu Jin, Shu Yang, Di Wang·· 11 小时前AI 评分31
仅看最终 checkpoint 不够：分析训练轨迹中潜在推理的忠实性
Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories
AI 导读
研究追踪训练全程发现，潜在推理模型的准确率上升时，对改变推理路径的反事实编辑反而变得不敏感。在 ProsQA 图可达任务上，输出对噪声替换的敏感度与反事实响应性同步下降；GSM8K 的二元选择与开放式版本在干预所有潜在状态时呈现相反的敏感度轨迹。基于这些轨迹干预训练过程可提升反事实响应性，说明只评估最终 checkpoint 会掩盖潜在状态贡献的变化。
正文 · AI 翻译
摘要：潜在推理在连续隐藏状态中执行多步推断，有望实现更紧凑、更高效的推理。然而，这些不透明的状态引出了一个忠实性问题：潜在推理步骤是否驱动了最终答案。先前的工作报告了在选定检查点上的不忠实行为，但未考察这些行为在训练过程中的发展。我们通过在潜在推理状态上进行经过验证的反事实编辑和干预，追踪整个训练过程中的行为证据和基于激活的证据。我们发现，准确率可以提高，同时模型对改变所需推理路径和正确答案的编辑变得不那么敏感。这种反事实响应性在潜在推理方法之间遵循不同的轨迹。在图可达性任务 ProsQA 上，输出对噪声替换的敏感性与反事实响应性一同下降。在分别训练的 GSM8K 数学问题的二选一版本和开放式版本中，对所有潜在状态的干预显示出相反的敏感性轨迹。在这些轨迹的指导下，我们对训练过程进行干预，并提高了反事实响应性。这些结果表明，仅评估最终检查点可能会掩盖反事实响应性何时发生变化以及潜在状态贡献了什么。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.06648 [cs.LG] |
| （或 arXiv:2607.06648v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.06648 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hengyu Jin [查看电子邮件]
[v1]
2026年7月7日星期二 16:09:44 UTC（297 KB）
[v2]
2026年9月1日星期二 03:23:56 UTC（284 KB）
[v3]
2026年11月4日星期三 08:13:40 UTC（361 KB）
来源：arXiv cs.CL · arxiv.org