Salesforce 论文：RL 专家蒸馏比外部大模型蒸馏更省算力
Salesforce 新论文发现，从大型外部教师模型蒸馏通常比纯 RL 消耗更多算力，而将多个 RL 训练的领域专家模型合并可节省 42% 算力。研究按每单位训练 FLOP 的留出准确率对比蒸馏与 GRPO，覆盖不同任务难度、模型规模和领域；使用外部后训练教师时 GRPO 普遍胜出，蒸馏还常导致回复变长。
Rohan Paul· @rohanpaul_ai · X·2026-11-08 08:17· 45 分钟前AI 评分48
AI 导读
Salesforce 新论文发现，从大型外部教师模型做蒸馏通常比纯 RL 消耗更多算力，而将多个 RL 训练的领域专家模型合并可节省 42% 算力。研究按每单位训练 FLOP 的留出准确率对比蒸馏与 GRPO，覆盖不同任务难度、模型规模和领域；使用外部后训练教师时 GRPO 普遍胜出，蒸馏还常导致回复变长。
正文 · 原文
Salesforce 新论文发现，从大型外部教师模型做蒸馏通常比纯 RL 消耗更多算力，而合并经 RL 训练的领域专家模型可节省 42%。
On-policy 蒸馏让学生模型根据教师模型对其自身输出的逐 token 反馈进行学习，许多人期望这种密集信号能胜过 RL。但每个训练 token 也需要一次教师前向传播。
他们按每单位训练 FLOP 的留出准确率对比蒸馏与 GRPO，并改变任务难度、模型规模、领域和训练设置。
使用外部后训练教师时，GRPO 普遍胜出，而蒸馏往往使回复变长。将各领域的 GRPO 专家蒸馏进 1 个学生模型，在数学加代码任务上达到与联合 GRPO 相当的效果，总 FLOP 减少 42.0%。
为节省算力，应使用 RL 训练各领域专家，再将它们蒸馏进 1 个模型，而不是从大型外部教师模型做蒸馏。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news