arXiv cs.CL· Zeyu Leo Liu, Yang Li, Bo Pang, Emre Can Acikgoz, Xuan-Phi Nguyen, Anurag Koul, Srijan Bansal, Erik Nijkamp, Shafiq Joty, Semih Yavuz·· 11 小时前AI 评分38
拆解强到弱 OPD 与 GRPO 的计算效率对比
Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
AI 导读
系统对比 vanilla reverse-KL OPD 与 GRPO 后发现，使用外部后训练教师时 OPD 在单位训练 FLOP 的准确率上普遍不如 GRPO，且常出现回复长度膨胀。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）在冻结教师的逐 token 监督下，用学生自身的 rollout 训练学生。与强化学习相比，这种稠密信号能否减少达到目标准确率所需的训练 FLOPs？我们在任务难度、学生与教师规模、领域和优化选择上，系统比较了普通反向 KL OPD 与组相对策略优化（GRPO），以留出准确率对训练 FLOPs 进行衡量。使用外部后训练教师时，在相同设置下，OPD 在每训练 FLOP 的准确率上通常不如 GRPO，即使教师进一步用 GRPO 训练也是如此，并且常常出现回复长度膨胀。然而，不同的教师会改变局面：当教师是学生自身的 GRPO checkpoint 时，OPD 在数学任务上以比 GRPO 达到相同准确率所需少 $50\times$ 的蒸馏 FLOPs 恢复了该 checkpoint 的准确率。遵循相同的教师设置，我们在更大的学生、代码任务以及第二个模型家族中一致观察到这种高效率。然而在单一领域上，GRPO checkpoint 本身已是所需模型，因此蒸馏它反而增加总计算量。跨领域时，不同的 GRPO checkpoint 持有不同能力，没有单一 checkpoint 能服务所有领域。多教师 OPD（DeepSeek-AI, 2026）将各领域的 GRPO 专家整合为单个学生，使其匹配每个专家的准确率，蒸馏阶段仅花费专家训练 FLOPs 的 5.2%（2 个领域）和 8.0%（4 个领域）。将专家训练与蒸馏合计，该流程在 2 领域混合上以少 42.0% 的总 FLOPs 达到联合 GRPO 的性能。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08453 [cs.LG] |
| （或 arXiv:2611.08453v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08453 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zeyu Liu [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 18:47:05 UTC（1,463 KB）
来源：arXiv cs.CL · arxiv.org