arXiv cs.AI· Lukas Twist, Helen Yannakoudakis, Jie M. Zhang·· 11 小时前AI 评分40
代码生成中的推理轨迹溢出：显式推理模型实证研究
Reasoning-Trace Overflow in Code Generation: An Empirical Study of Explicit Reasoning Models
AI 导读
一项针对 7 个模型、6 种代码基准设置的实证研究提出“推理轨迹溢出”：在固定 32k token 输出预算下，部分模型-基准组合中超过一半的生成把预算全部耗在推理上却仍未产出代码，且多数完全溢出与重复推理循环相关。
正文 · AI 翻译
摘要：显式推理可以帮助语言模型生成代码，但它也带来一个实际风险：模型可能把过多的输出预算花在推理上，以至于始终无法产出可用的代码。我们在相对较小的开放权重推理模型中研究这一行为，并将其界定为推理轨迹溢出。在七个模型和六种代码基准设置下，我们测量了固定的 32k token 输出预算中有多少被用于推理、这些推理是否提升了 pass@1，以及轻量级的推理时控制能否缓解溢出。我们的结果表明，推理的价值高度依赖于条件。在较简单的函数级任务上，溢出很少见，但在更难的代码生成基准上以及对于特定模型家族而言则变得常见：在若干模型—基准组合上，超过一半的生成在仍在推理时就用尽了全部 32k token 预算。大多数完全溢出与重复的推理循环相关，不过也存在大量未出现循环的长推理。因此，对于容易溢出的模型，禁用推理可以具有竞争力，原因很简单：它能确保产生答案。与此同时，对于更强的模型在更难的算法和代码理解任务上，推理仍然有价值。最后，提示引导可以显著减少某些模型的溢出，但并不一致；而带预算的转换提供了更直接的控制，并且可以为容易溢出的模型同时提升性能和 token 效率。这些发现表明，显式推理应被视为代码生成的一种可控资源，而不是一种始终开启的能力。
| 评论： | 12 页，6 幅图，1 张表 |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2611.06095 [cs.AI] |
| （或 arXiv:2611.06095v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06095 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lukas Twist [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 07:42:05 UTC（1,264 KB）
来源：arXiv cs.AI · arxiv.org