arXiv cs.CL· Darpan Aswal, Thomas Palmeira Ferraz, Yongxin Zhou, Maxime Peyrard·· 12 小时前AI 评分38
可观测模式不等于解释:潜在推理模型的因果-几何分析
Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models
AI 导读
对 Coconut 和 CODI 两个潜在推理模型(LRM)的对照实验发现,BFS 式前沿、可解码算术计算等潜在状态模式同样出现在缺少递归或课程设计的对照组中,且并不稳定影响模型行为。
正文 · AI 翻译
摘要:潜在推理模型(LRM)用连续思维取代显式思维链。近期研究将可观测的潜在状态模式,如类 BFS 前沿和可解码的算术计算,视为内部推理机制的证据。我们评估了两个 LRM(Coconut 和 CODI)与缺乏所提出的循环或课程设置的对照组,发现这些模式也出现在对照组中,且并不一致地影响行为。因果干预揭示,潜在思维的利用并非二元的,而是分级的,随思维对模型行为的因果效应而缩放。几何分析表明,这种效应集中在低维子空间中,其逐步几何结构随着行为影响的增加而变得更有结构。因此,潜在思维应被视为隐藏的计算,而非隐藏的解释:仅凭可解码性、注意力或静态结构无法确立 LRM 的推理机制;这需要匹配的对照组和因果测试。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2606.12689 [cs.CL] |
| (或 arXiv:2606.12689v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.12689 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Darpan Aswal [查看电子邮件]
[v1]
2026年6月10日 星期三 21:23:22 UTC(318 KB)
[v2]
2026年10月24日 星期六 15:35:35 UTC(2,735 KB)
来源:arXiv cs.CL · arxiv.org