arXiv cs.CL· Minh-Anh Nguyen, Nguyen T. Ha Lan, Xiyan Fu, Dung D. Le, Wei Lu·· 3 天前AI 评分24
能推理却停不下来：剪枝大型推理模型的失效机理与恢复方法
To Reason but Not to Stop: Understanding and Recovering Pruned Large Reasoning Models
AI 导读
研究发现剪枝大型推理模型（LRM）的精度下降主要源于"停不下来"而非推理能力受损：稀疏度升高后，模型常在正确答案已出现后仍陷入重复循环，无法在 token 预算内终止。基于终止与循环续写之间一致的隐状态差异，作者提出免训练方法 TGAS，在推理时将该方向注入残差流。在 6 个 LRM、3 种剪枝流程及数学与代码基准上，TGAS 改善了终止与整体准确率，并减少重复推理和生成长度。
正文 · AI 翻译
摘要：权重剪枝会降低大型推理模型（LRM）的准确率，但它是否损害推理本身仍不清楚。我们发现，这种性能下降在很大程度上源于无法停止，而非无法推理。随着稀疏度增加，被剪枝的 LRM 越来越难以在 token 预算内终止，往往在正确答案已出现在其推理过程中之后仍无法停止，转而陷入重复循环，尽管它们仍能识别出稠密模型会在何处停止。我们进一步发现，终止与循环延续之间的隐藏状态差异在被剪枝的检查点之间是一致的，这表明存在一个与确定答案相关的共享方向。基于此，我们提出终止引导激活引导（TGAS），一种无需训练的方法，在推理时将这一方向添加到残差流中。在六个 LRM、三条剪枝流程以及数学和代码基准上，TGAS 改善了终止和整体准确率，同时减少了重复推理和生成长度，表明这一失败是可干预的。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19934 [cs.CL] |
| （或 arXiv:2610.19934v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19934 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Minh Nguyen [查看电子邮件]
[v1]
2026年10月14日星期三 10:19:15 UTC（738 KB）
来源：arXiv cs.CL · arxiv.org