arXiv cs.AI· Suorong Yang, Jiaxin Wang, Jiaming Su, Chentao Yue, Furao Shen, Peng Ye, Soujanya Poria·· 6 天前AI 评分31
通过更少训练学到更多：不确定性引导的渐进收缩实现高效推理后训练
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
AI 导读
研究者提出不确定性引导的渐进收缩框架，通过蒙特卡洛推理树暴露过程级不确定性，将教师生成的 CoT 语料先收缩为紧凑池，再在 SFT 中按学生学习状态在线路由优化。在多种推理基准和 LLM 家族上，该方法仅用全量数据 SFT 0.22% 的优化预算、训练曝光减少超 450 倍，仍保持或提升推理性能，并可跨异构学生模型、黑盒教师和弱到强迁移泛化。
正文 · AI 翻译
摘要：大语言模型在复杂推理方面已取得显著进展。然而，用越来越大的语料库来扩展推理后训练，可能会大幅增加训练成本，却无法带来成比例的性能提升。在本研究中，我们因此提出：在不牺牲能力的前提下，推理监督可以被压缩到什么程度？为此，我们提出了一个不确定性引导的渐进收缩框架，将监督和优化集中在最有学习价值的推理轨迹上。具体而言，我们不是将教师生成的思维链（CoT）视为单一已实现路径，而是通过在中间推理状态周围构建蒙特卡洛推理树来刻画过程级不确定性，从而构建不确定性画像的推理监督。这种不确定性首先将原始语料库收缩为一个紧凑的教师信息池。随后，第二次学习者感知的收缩在 SFT 期间执行在线路由，根据学生不断演变的学习状态集中优化。两个阶段共同渐进地收缩监督和优化，大幅减少学生训练预算。在不同推理基准和 LLM 系列上的实验表明，我们的方法仅使用全数据 SFT 优化预算的 0.22%，训练暴露量减少超过 450 倍，同时保持或提升推理性能。值得注意的是，我们的框架在异构学生系列、黑盒教师以及弱到强迁移方面都具有良好的泛化能力。这表明它不仅是一种加速训练的方法，还能增强推理能力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12933 [cs.AI] |
| （或本版本的 arXiv:2610.12933v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.12933 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Suorong Yang [查看电子邮件]
[v1]
2026年10月9日星期五 03:26:06 UTC（481 KB）
来源：arXiv cs.AI · arxiv.org