arXiv cs.AI· Zilu Tang, Jongin Kim, Kerem Sahin, David Atkinson, Aaron Mueller, Derry Wijaya·· 13 小时前AI 评分29
干预式训练减少语言模型上下文内省中的因果绕行
Interventional Training Reduces Causal Bypass in In-Context Introspection
AI 导读
研究在三种低层信号类型和八个语言模型上训练数百个内省器，发现直接 SFT 训练会导致“因果绕行”，即自我报告依赖与报告对象相关但无因果关系的信号。为此提出干预式训练，让模型报告反事实扰动后的值，从而更准确地内省内源信号和注入信号，在 OOD 数据上尤为明显。该机制可跨 token 位置泛化，并随数据量扩展，表明因果扎根的内省虽可实现但并非必然，需训练机制而非仅训练行为。
正文 · AI 翻译
摘要：内省，即系统访问并推理其内部信号的能力，对于语言模型（LM）的自我一致性和可扩展的可解释性至关重要。先前的工作认为 LM 具备内省能力，并且训练（SFT）可以增强这种行为。然而，大多数设置都留下了“因果绕过”的可能性，即自我报告依赖于与自我报告主题相关、但与其无因果关系的信号。尽管高层概念难以干预，但低层信号（例如单个神经元激活）允许精确干预。理解此类信号可以作为理解更复杂内省的最小前提。在本研究中，我们在三种低层信号类型和八个 LM 上训练了数百个内省器。我们发现直接的 SFT 训练会导致因果绕过，并提出干预式训练，这是一种替代方案，我们训练模型报告反事实扰动的值。该方法能够对内生 $\textit{和}$ 注入信号进行更准确的内省，尤其是在分布外（OOD）数据中。该机制可泛化到不同 token 位置，并随数据量扩展。我们的结果表明，虽然因果有据的内省是可能的，但它并非必然——这强调了需要在机制而非仅行为上进行训练。
| 评论： | 9 页，预印本 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38911 [cs.CL] |
| （或 arXiv:2610.38911v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38911 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zilu Tang [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 21:04:03 UTC（17,275 KB）
来源：arXiv cs.AI · arxiv.org