arXiv cs.AI· Yinlong Xu, Jianfeng Huang, Zhengdong Zhou, Mingjie Lin, Fuyu Lv, Dan Ou, Hongxia Xu, Jian Wu·· 11 小时前AI 评分24
Sep-Latent：用分隔符 token 作为隐式推理的自然压缩锚点
Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning
AI 导读
Sep-Latent 是一种自适应隐式推理框架，用分隔符 token 作为结构化语义锚点，并通过 Attention-Decay 机制迫使模型在训练中将推理逻辑聚合压缩到这些锚点上。
正文 · AI 翻译
摘要：大型语言模型（LLM）通过显式思维链（CoT）在复杂推理中取得了显著成功，但相关的计算开销和 token 冗长仍然是效率的重大障碍。虽然连续潜在空间中的隐式推理提供了一种有前景的替代方案，但 Coconut 和 CODI 等现有方法通常依赖固定长度的潜在序列，并遭受表示崩溃。在本文中，我们提出 Sep-Latent，一种自适应隐式推理框架，利用分隔符 token 作为结构语义锚点。通过引入注意力衰减机制，我们迫使模型在训练期间将推理逻辑聚合和压缩到这些锚点中。然后，我们通过跨所有层的多级蒸馏对齐显式和隐式路径，以确保逻辑一致性。关键的是，Sep-Latent 通过基于查询复杂度自适应地终止潜在思考阶段，实现了动态推理深度。在 GSM8k-Aug 基准上的实验结果表明，Sep-Latent 以平均仅 5.4 个 token 达到 56.8\% 的准确率，在效率上显著优于先前的固定长度隐式模型，同时缩小了与显式 CoT 的性能差距。通过 PCA 和符号变体测试的进一步分析证实，我们的方法确保了语义基础，并对扰动表现出卓越的鲁棒性。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22924 [cs.AI] |
| （或 arXiv:2610.22924v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.22924 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yinlong Xu [查看电子邮件]
[v1]
2026年10月16日星期五 04:39:25 UTC（1,535 KB）
来源：arXiv cs.AI · arxiv.org