arXiv cs.CL· Yuyi Zhang, Boyu Tang, Tianjie Ju, Sufeng Duan, Gongshen Liu·· 12 小时前AI 评分52
隐 token 真的在思考吗？论文对 COCONUT 连续思维链做因果与对抗分析
Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought
AI 导读
论文对 Chain-of-Continuous-Thought（COCONUT）的隐 token 做因果与对抗分析，发现这些 token 更像不可解释的占位符，而非编码忠实推理。
正文 · AI 翻译
摘要：潜在 token 因能增强大语言模型（LLM）的推理能力而日益受到关注，但其内部机制仍不清楚。本文从可靠性角度审视该问题，揭示了根本性弱点：潜在 token 充当不可解释的占位符，而非编码忠实的推理。尽管它们对扰动具有抵抗力，却促使模型使用捷径而非真正推理。我们聚焦于连续思维链（COCONUT），它声称在保持性能的同时，比显式思维链（CoT）具有更好的效率和稳定性。我们通过两种互补方法对此展开研究。第一，引导实验扰动特定的 token 子集，即 COCONUT 和显式 CoT。与 CoT token 不同，COCONUT token 对引导的敏感性极低，且缺乏推理关键信息。第二，捷径实验在偏差和分布外设置下评估模型。在 MMLU 和 HotpotQA 上的结果表明，COCONUT 一贯利用数据集伪影，在没有真正推理的情况下虚增基准性能。这些发现将 COCONUT 重新定位为一种伪推理机制：它生成看似合理的轨迹，掩盖了对捷径的依赖，而非忠实表示推理过程。
| 评论： | 已被 EMNLP 2026 主会议接收。14 页，5 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7; K.6.5 |
| 引用为： | arXiv:2512.21711 [cs.CL] |
| （或 arXiv:2512.21711v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2512.21711 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuyi Zhang [查看邮箱]
[v1]
2025年12月25日 星期四 15:14:53 UTC（930 KB）
[v2]
2026年10月26日 星期一 02:40:17 UTC（921 KB）
来源：arXiv cs.CL · arxiv.org