arXiv cs.CL· Kerui Huang, Shuhan Liu, Xing Hu, Tongtong Xu, Lingfeng Bao, Xin Xia·· 10 天前AI 评分27
SEER：面向推理模型的自增强思维链压缩框架
SEER: Self-Enhancing Chain-of-Thought Compression for Reasoning Models
AI 导读
SEER 是一个自增强的思维链压缩框架，通过 Best-of-N 采样优化自生成 CoT 数据，再用轻量数据驱动过滤器筛选简洁且正确的推理路径并微调模型。在 DeepSeek-R1-Distill-Qwen-7B 上，SEER 于四个软件工程基准中平均缩短 CoT 长度 34.6%，同时提升任务表现，减少截断和推理循环。
正文 · AI 翻译
摘要：思维链（CoT）提示可以显著提升大语言模型（LLM）的推理能力，但由于推理轨迹冗长且难以控制，往往伴随着高昂的推理成本。这种开销在软件工程任务（例如代码生成）中尤为突出，因为延迟和输出可靠性都至关重要。为了更好地理解这一权衡，我们对广泛使用的代码生成基准进行了实证研究，并观察到许多现代推理模型会产生过度冗长的 CoT（通常有数千个 token），这经常导致截断和生成不稳定。使用严格的 n-gram 重复检测器，我们发现大多数观察到的截断都与退化性循环行为相关。此外，一项 HumanEval/129 案例研究表明，失败的生成可能比成功的生成更长，这表明过长的推理带来的回报有限。受这些发现的启发，我们提出了 SEER（Self-Enhancing Efficient Reasoning），一个用于自适应 CoT 压缩的自我增强框架。SEER 在保持输出质量的同时提高了推理的简洁性，且不依赖外部压缩工具。SEER 通过 Best-of-N 采样精炼自我生成的 CoT 数据，以抑制循环和冗余轨迹，然后应用轻量级、数据驱动的过滤器来鼓励简洁而正确的推理。随后，它在过滤后的数据上微调模型，以将简洁的推理行为内化。在评估的 DeepSeek-R1-Distill-Qwen-7B 主干模型上，跨四个软件工程基准，SEER 平均将 CoT 长度减少 34.6%，同时提升任务性能，并减少截断和推理循环。
| 评论： | 23 页。发表于 ISSTA 2026 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2509.14093 [cs.SE] |
| （或 arXiv:2509.14093v3 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.14093 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proc. ACM Softw. Eng. 3, ISSTA, Article ISSTA029 (October 2026), 23 pages |
| 相关 DOI： | https://doi.org/10.1145/3832120
链接到相关资源的 DOI |
提交历史
来自：Kerui Huang [查看邮箱]
[v1]
2025年9月17日星期三 15:33:44 UTC (261 KB)
[v2]
2026年3月10日星期二 10:11:06 UTC (431 KB)
[v3]
2026年10月7日星期三 15:17:11 UTC (429 KB)
来源：arXiv cs.CL · arxiv.org