论文重新审视「RL 泛化、SFT 记忆」：SFT 数据的作用

查看 PDF HTML（实验性）

摘要：使用可验证奖励的强化学习（RL）训练的大语言模型展现出强大的推理能力和广泛的泛化能力，而使用监督微调（SFT）训练的模型通常被认为更容易记忆且迁移能力有限。本文通过广泛使用的 Qwen2.5 和 Qwen3 系列模型上的 SFT 训练数据这一视角，重新审视这一区别。首先，我们研究了数据来源的作用，并表明其至关重要：精心混合的 SFT 数据集显著优于仅由更大模型生成的数据。其次，我们研究了数据规模的作用，并表明在 SFT 与 RL 之间匹配正确 rollout 的数量能极大提升 SFT 的泛化能力，而匹配总 rollout 预算则能使 SFT 的泛化能力与 RL 相当。结合这两个因素，SFT 的泛化能力甚至能优于 RL。第三，通过使用 LLM 标注来刻画训练 rollout 中的解题方法，我们表明更大的数据集覆盖了更多尾部方法，且这些尾部方法提供了可泛化的推理信号。最后，我们通过分析浅层 Transformer 在 RL 和 SFT 下的训练动态，从理论上支持了这些实证发现。

提交历史

来自：Yunlong Hou [查看邮箱]
[v1] 2026 年 11 月 11 日星期三 02:10:24 UTC（1,870 KB）