研究追踪训练轨迹揭示潜在推理忠实性变化

Hengyu Jin等作者发表研究，追踪潜在推理模型训练全程后发现：模型准确率上升时，对改变推理路径的反事实编辑反而变得不敏感。在ProsQA图可达任务上，输出对噪声替换的敏感度与反事实响应性同步下降；GSM8K的二元选择与开放式版本在干预所有潜在状态时呈现相反的敏感度轨迹。 研究称，基于这些轨迹干预训练过程可提升反事实响应性，说明只评估最终checkpoint会掩盖潜在状态贡献的变化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。