arXiv cs.CL· Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Yang Wang, Saiyong Yang, Can Yang·· 2 天前AI 评分25
Thinking-Free Policy Initialization：让蒸馏推理模型更高效有效的推理器
Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners
AI 导读
研究者提出 Thinking-Free Policy Initialization（TFPI），通过 ThinkingFree 操作直接丢弃思考内容，衔接长 CoT 蒸馏与标准 RLVR，降低推理 token 消耗。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）有效解决了复杂任务，但在训练期间需要极长的上下文长度，导致大量计算成本。虽然多阶段训练可以部分缓解这一问题，但从过短的上下文开始往往会导致不可逆的性能下降，最终无法显著减少整体训练计算量。在本文中，我们提出了无思考策略初始化（TFPI），这是一种简单而有效的 RLVR 适配方法，连接了长思维链（CoT）蒸馏与标准 RLVR。TFPI 采用简单的 ThinkingFree 操作，通过直接追加 </think> 显式丢弃思考内容，以减少推理期间的 token 使用量。使用 ThinkingFree 适配后的输入进行训练，即使在原始的慢思考模式下，也能提升性能并降低 token 消耗。在各种基准上的大量实验表明，TFPI 加速了 RL 收敛，达到了更高的性能上限，并在无需专门奖励或复杂训练设计的情况下产生了更 token 高效的推理模型。仅使用 TFPI，我们训练了一个 4B 模型，在不到 4K H20 小时内，在 AIME24 上达到 89.0% 的准确率，在 LiveCodeBench 上达到 65.5%。
| 评论： | ICLR 2026 正式录用版本。25 页。更正了作者姓名 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2509.26226 [cs.LG] |
| （或使用 arXiv:2509.26226v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2509.26226 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xin Xu [查看邮箱]
[v1]
2025年9月30日星期二 13:25:00 UTC（311 KB）
[v2]
2025年12月24日星期三 08:05:31 UTC（302 KB）
[v3]
2026年10月15日星期四 10:00:34 UTC（259 KB）
来源：arXiv cs.CL · arxiv.org