arXiv cs.CL· Jie Cao, Tianwei Lin, Juekai Lin, Zhenxuan Fan, Yunqi Cao, Bo Yuan, Ziyuan Zhao, Rolan Yan, Wenqiao Zhang, Siliang Tang·· 3 天前AI 评分37
Draft-Thinking：为长链式思维 LLM 学习高效推理
Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs
AI 导读
Draft-Thinking 是一个轻量适配框架，让长链式思维 LLM 学会一种紧凑的“草稿 CoT”，直接支撑最终答案。它通过渐进式草稿适配（先 SFT 再两阶段 RL）解决“跨规模草稿错配”，无需事后轨迹压缩或长度惩罚奖励。
正文 · AI 翻译
摘要：长链思维（CoT）推理提升了大推理模型（LRM）的问题求解能力，但往往带来大量推理开销和过度思考。现有高效方法主要依赖提示、事后压缩或长度正则化优化；这些方法可能对模型规模敏感、依赖外部估计器，或对困难实例分配不足的推理。我们提出 \textbf{Draft-Thinking}，一个轻量级适配框架，学习 \textit{模型适配的草稿 CoT}：一种紧凑、自包含、直接支持最终答案的工作推导。我们识别出 \textbf{跨规模草稿不匹配}：强教师模型生成的简洁轨迹对较小的目标模型可能过于稀疏。为解决这一不匹配，\textbf{渐进式草稿适配}首先通过监督微调（SFT）迁移简洁推理形式先验，然后应用两阶段强化学习（RL），使用逐步加难的数据和放宽的响应预算，将推理粒度校准到目标模型。该方法既不需要事后轨迹压缩，也不需要显式的长度惩罚奖励。在推理时，草稿、自适应和逐步提示分别提供面向效率、平衡和详细的推理模式。逐步模式在使用更少 token 的同时基本保持原模型的准确率。仅用 847 个训练问题和 120 步 RL 优化，Draft-Thinking 在六个数学与科学推理基准上大幅降低推理成本。在 MATH500 上，其草稿模式将平均响应长度从 5,668 个 token 降至 986 个 token，减少 82.6\%，同时达到 90.6\% 的准确率，而原始长 CoT 模型为 93.0\%。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.00578 [cs.AI] |
| （或 arXiv:2603.00578v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.00578 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Jie Cao [查看邮箱]
[v1]
2026年2月28日 星期六 09:57:52 UTC（1,786 KB）
[v2]
2026年10月14日 星期三 05:17:40 UTC（635 KB）
来源：arXiv cs.CL · arxiv.org