跳到正文
arXiv cs.AI· Tianxiang Chen, Jingyuan Zhou, Weiming Yang, Kaidi Yang·· 10 小时前AI 评分31

重新审视固定视野潜在推理:自适应调整潜在 CoT 推理长度

Rethinking Fixed-Horizon Latent Reasoning

AI 导读

研究发现,将潜在 CoT 推理扩展到预设的完整视野反而可能降低推理性能,因为后期计算主要在重组已有候选并削弱正确候选的支持。为此提出一种轻量方法,在推理时估计剩余推理进展并自适应调整潜在视野,无需重新训练 LLM。在多个算术基准和代表性潜在 CoT 推理器上,该方法将推理准确率最高提升 7.2 个百分点,同时减少最多 29.0% 的潜在计算量。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:现有的潜在推理器在推理时通常运行预设的潜在视野。直观上,更长的视野应当为推理提供更多机会。然而,在本工作中我们发现,将潜在思维链(CoT)扩展到完整的预设视野实际上可能会降低推理性能。我们观察到,潜在 CoT 会经历若干不同的功能阶段,较早的计算形成前沿推理状态,而较晚的计算主要重新组织已有候选,并可能削弱对黄金候选的支持。这些发现促使我们重新思考固定视野的潜在推理。为此,我们通过已实现的和剩余的建设性进展来刻画潜在 CoT 的推理收益。在实证上,我们发现更高的已实现建设性进展对应更高的当前推理准确率,而更多的剩余进展对应继续潜在 CoT 带来的更大未来收益。为此,我们引入一种轻量级方法,用于估计剩余推理进展并在推理过程中自适应调整潜在视野。在具有代表性的潜在 CoT 推理器和多个算术基准上,我们的方法将推理准确率最多提升 7.2 个百分点,同时将潜在计算量最多减少 29.0%,且无需重新训练 LLM。
评论: 21 页,4 幅图
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.24001 [cs.LG]
  (或 arXiv:2611.24001v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24001

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tianxiang Chen [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 07:49:12 UTC(461 KB)

来源:arXiv cs.AI · arxiv.org