arXiv cs.AI· Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard·· 3 天前AI 评分38
超越 GRPO 与在线策略蒸馏：语言模型后训练的稀疏到稠密奖励原则
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
AI 导读
研究提出"奖励密度原则"：稀疏序列级奖励适合让强模型探索发现更优行为，稠密 token 级教师监督则适合将行为压缩进小部署模型，稀缺标注数据应先用在上游最强教师上。
正文 · AI 翻译
摘要：在可验证的标注训练数据构成瓶颈的场景中，每个经过检验的样本都应分配给最能从中获取信息的模型和奖励密度。我们提出了一条奖励密度原则：稀疏的序列级奖励最适合用于能够探索并发现更优行为的模型，而密集的 token 级教师监督更适合将这种行为压缩到更小的部署模型中；因此，稀缺的标注数据应在上游用于最强的可用教师，然后作为密集监督向下游迁移。我们通过一个四阶段工作流来评估这一规则：教师 RL、前向 KL 预热、同策略蒸馏、可选的学生桥后 RL，在可验证的数学和代码生成任务上使用 Qwen3、Llama 和 Qwen2.5 模型。在固定的 Qwen3-1.7B 部署学生规模下，经过 RL 改进的 8B 教师通过密集桥蒸馏后，优于对同一学生直接使用 GRPO（MATH 上 $79.3\%$ 对 $75.9\%$；AIME~2024 上 $25.2\%$ 对 $19.8\%$），而从同一教师 RL 之前的状态进行迁移则表现更差。组件消融实验证实每个阶段都不可或缺：经过 RL 改进的教师相比同规模的原始教师在 MATH 上提升了 $7.8$ 个绝对百分点，前向 KL 预热提升了 $1.7$，同策略蒸馏提升了 $3.3$。教师质量排序：原始教师迁移 $<$ 直接 GRPO $<$ RL 教师迁移，这一结论在 Llama-3.1-8B-Instruct 搭配 Llama-3.3-70B-Instruct 教师上，以及在 Qwen2.5-7B-Instruct 搭配 Qwen2.5-32B-Instruct 教师的代码生成任务上均得到复现。操作层面的经验是：避免将稀缺的标注数据花费在准备最不充分的策略上：使用稀疏奖励进行教师侧探索，使用密集迁移进行学生压缩，仅在桥接之后才对学生侧使用稀疏奖励。我们实验中使用的 OPD 实现可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.12483 [cs.LG] |
| （或 arXiv:2605.12483v5 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.12483 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yuanda Xu [查看邮箱]
[v1]
2026年5月12日星期二 17:57:48 UTC（52 KB）
[v2]
2026年5月14日星期四 15:02:43 UTC（54 KB）
[v3]
2026年5月15日星期五 15:36:53 UTC（60 KB）
[v4]
2026年5月20日星期三 14:15:58 UTC（61 KB）
[v5]
2026年10月12日星期一 03:37:41 UTC（99 KB）
来源：arXiv cs.AI · arxiv.org