arXiv cs.AI· Zhinan Hou, Xingchen Li, Keyou You·· 9 天前AI 评分26
通过潜空间约束优化实现高效推理
Efficient Reasoning via Constrained Optimization in Latent Space
AI 导读
针对大推理模型（LRMs）过度思考导致 token 消耗过高的问题，研究者提出一种无需训练的框架：利用二次规划将偏离的隐藏状态投影回潜空间中高效推理步骤聚集的集中区域，从而在不牺牲性能的前提下减少 token 生成。
正文 · AI 翻译
摘要：大型推理模型（LRM）已展现出卓越的推理能力，但仍存在过度思考的问题，会生成冗余的推理步骤，从而带来大量的 token 消耗。现有方法，如抑制反思性关键词或强制缩短推理长度，试图缓解这一问题，但不可避免地会截断必要步骤并引发思考不足，从而损害性能。为解决这一两难问题，我们研究了潜在表示，并观察到高效的推理步骤会自然聚集在潜在空间中的一个集中区域，而偏离该区域的步骤往往会产生冗长的序列。为利用这一点，我们通过二次规划将偏离的隐藏状态投影回该区域，使推理保持聚焦于该区域内。随后，我们提出了一种新颖的免训练框架，以实现高效推理，在不牺牲性能的情况下降低 token 生成成本。在从 1.5B 到 14B 的四个模型上，以及数学推理、编程和科学问答的六个基准上进行的广泛实验，验证了我们方法的有效性，准确率最高提升 12.1\%，同时生成的 token 减少 11.8\% 至 52.8\%。代码可在 \href{此 https URL}{此 https URL} 获取。
| 评论： | 被 NeurIPS2026 接收 |
| 主题： | 人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2609.34181 [cs.AI] |
| （或 arXiv:2609.34181v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.34181 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Zhinan Hou [查看邮箱]
[v1]
2026年9月28日星期一 02:59:01 UTC（10,569 KB）
[v2]
2026年10月8日星期四 16:41:45 UTC（10,569 KB）
来源：arXiv cs.AI · arxiv.org