arXiv cs.AI· Yingping Wang, Min Cai, Chenyu Yuan, Xi Ye, Zhijiang Guo, Jiayi Huang·· 16 小时前AI 评分34
DoubleFree：利用探索历史实现无 rollout 的多任务 LLM 训练
DoubleFree:Exploiting Exploration History for Rollout-Free Multi-Task LLMs Training
AI 导读
DoubleFree 复用领域 RL 训练中产生的历史轨迹完成多任务整合，无需重新生成 on-policy 响应，并预计算教师监督以避免在线教师开销。在 Qwen3-4B、Qwen3-8B 和 SmolLM3-3B 的数学、代码与指令遵循任务上，该方法实现 2.99-5.75 倍整合加速，GPU 小时数减少 80.9%-90.1%，多领域性能保持相当。
正文 · AI 翻译
摘要：多任务后训练可以通过独立的强化学习（RL）培养领域专家，并通过多教师同策略蒸馏（MOPD）整合其能力。然而，标准 MOPD 会生成同策略学生响应，并在整个整合过程中保持多个教师在线，从而带来大量系统开销。我们将这一流程视为先进行领域探索、再进行跨领域利用。领域 RL 不仅产生最终的专家模型，还产生其整个训练过程中收集的轨迹。现有方法主要使用前者，而后者未得到充分利用。我们提出 DoubleFree，它复用这些历史轨迹进行无 rollout 整合，并预计算教师监督以实现无在线教师的学生训练。为理解其原理，我们分析了历史轨迹的更新何时能近似同策略蒸馏更新，以及跨探索阶段组合轨迹如何更好地支持不断演进的学生模型。DoubleFree 只需对现有后训练框架做最小改动。在 Qwen3-4B、Qwen3-8B 和 SmolLM3-3B 上的数学、代码和指令遵循任务中，DoubleFree 实现了 $2.99$-$5.75\times$ 的整合加速，并将 GPU 小时数减少 $80.9$-$90.1\%$，同时保持可比的多领域性能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34272 [cs.LG] |
| （或 arXiv:2610.34272v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34272 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingping Wang [查看邮箱]
[v1]
2026年10月25日星期日 13:03:18 UTC（439 KB）
来源：arXiv cs.AI · arxiv.org