arXiv cs.AI· Jingjie Qiu, Sheldon Yu, Xunyi Jiang, Jiajin Liu, Zihan Huang, Zhendong Chu, Tong Yu, Julian McAuley, Junda Wu·· 2 天前AI 评分38
潜在思维链真的在推理吗？一个统一的潜在推理分类体系
Does Latent Chain-of-Thought Actually Reason? A Single, Unifying Taxonomy for Latent Reasoning
AI 导读
研究覆盖 21 种模型-任务配置（3 种训练配方、3 类推理任务、2 种骨干网络），结合链删除、内容替换与探针和轨迹分析，检验潜在思维链是否真正影响答案。在逻辑任务上，COCONUT 的答案往往在链开始前就已可读出，状态早早收敛，删除链后预测几乎不变；即便逐步监督形成有序链，内容替换也不改变答案。
正文 · AI 翻译
摘要：潜在思维链用连续的隐藏状态取代书写的推理步骤，使模型在作答前有额外的计算步骤。这些步骤实际执行了什么计算仍不清楚。高任务准确率和可解码的中间答案并不能证明模型使用其潜在链来得出答案。我们在二十一种模型-任务配置中研究这一问题，涵盖三种训练配方、三种推理任务和两种骨干网络。我们将链删除和内容替换与探针及轨迹分析相结合，以检验链是否影响答案、它编码了什么，以及它的状态如何变化。在逻辑任务上，COCONUT 往往携带一个在链开始之前就已可读的答案。它的状态很早就稳定下来，删除链后预测几乎不变。逐步监督会产生推理步骤的有序布局，并能使模型依赖链。然而，即使是有序链也可以充当占位符，删除会损害性能，而内容替换则使答案保持不变。在算术任务上，所有测试的配方都显示出对链内容的依赖。这些结果表明，为什么仅凭可读的潜在状态不足以作为推理的证据。我们引入一个分类法，将链所表示的内容与模型如何使用它区分开来。这样看来，早先的报告不再相互竞争：占位符 token、坍缩的叠加和步骤依赖的因果角色各自与一种不同的链相一致，每一种都是在不同的任务、训练配方或测量中得到的。一旦一项研究说明它测试的是哪种性质——模型是否使用链、链持有什么，或它的状态如何移动——关于潜在推理的主张就可以进行比较。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21182 [cs.AI] |
| （或 arXiv:2610.21182v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21182 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zixu Yu [查看电子邮件]
[v1]
2026年10月15日星期四 03:37:32 UTC（204 KB）
来源：arXiv cs.AI · arxiv.org