arXiv cs.CL· Alexander Boesgaard Lorup·· 11 小时前AI 评分39
Concise-9B：通过简洁自训练削减推理模型的多余思考
Concise-9B: Removing the Slack from a Reasoning Model's Thinking
AI 导读
研究者用两轮 on-policy 拒绝采样微调，保留最短正确样本并混入少量答案合成目标，将 Qwen3.5-9B 训练为 Concise-9B。在 8,983 道留出题上，32K 思考预算下其生成 token 数为基座的 0.66x，准确率差异在 ±1 点内（-0.20 点）。
正文 · AI 翻译
摘要：推理模型思考得越久，回答得越好，但思考轨迹在答案已经形成之后仍会持续很久。我们在 Qwen3.5-9B 中测量了这种冗余，并通过简洁自训练去除了其中的大部分：两轮同策略拒绝采样微调，保留最短的正确样本，再加上一小部分答案合成目标，得到 Concise-9B。在 8,983 道留出问题（竞赛与高难数学、SuperGPQA、一个五领域确认集以及 MMLU-Pro）上，Concise-9B 在 32K 思考预算下生成的 token 数为 Qwen3.5-9B 的 0.66 倍，准确率在 ±1 分以内相当（-0.20 [-0.77, +0.36] 分）。在困难集和确认集上强制每条轨迹每 2,048 个思考 token 作答一次，我们发现 Qwen3.5-9B 有 54-64% 的思考 token 出现在这样一个点之后：从该点起每次强制作答都等于最终答案（Concise-9B 为 41-48%）。若在该点停止，所有答案的 token 数可保持在基模型的 0.35-0.44 倍，但找到该点需要事后之明：当三次连续强制作答一致时停止，基模型会损失 2.4-9.2 分。简洁自训练在没有这一代价的情况下去除了冗余：它节省的思考 token 中有 86% [83, 90] 出现在答案形成之后。它也有局限：当轨迹延长到 80K token 时，Concise-9B 在 1,276 道困难问题上少解出 25 道（-25 [-49, -1]），主要集中在竞赛数学。该测量还为自适应采样提供了一个廉价的提交信号，在一项预注册测试中，它在 0.67 倍 token 数下与双样本升级的差距在 ±1 分以内。在 Qwen3.5-4B（该配方即在此开发）上的结果，以及在 Olmo-3-7B-Think 上的复现表明，节省幅度取决于基模型的冗长程度。
| 评论： | 18 页，5 幅图，14 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02278 [cs.LG] |
| （或 arXiv:2611.02278v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02278 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alexander Lorup [查看邮箱]
[v1]
2026 年 11 月 1 日周日 23:02:43 UTC（208 KB）
来源：arXiv cs.CL · arxiv.org