arXiv cs.AI· Jingyuan Huang, Zuming Huang, Yucheng Shi, Zhongzhi Li, Xiaoming Zhai, Wei Chu, Ninghao Liu·· 11 小时前AI 评分29
Train4Merge：RL 还是 SFT——哪种训练算法能为基于 OPD 的模型合并产出更好的教师模型？
Train4Merge: RL or SFT---Which Yields Better Teachers for OPD-Based Model Merging?
AI 导读
研究对比了 SFT 与 RL 训练的教师模型在 on-policy distillation（OPD）模型合并中的表现，教师与学生均基于 Qwen3.5-9B 初始化。
正文 · AI 翻译
摘要：从共享检查点训练的领域专家可以通过同策略蒸馏（OPD）将其专业能力迁移到单个学生模型。现有研究主要关注改进这一合并过程，而对用于训练专家的算法缺乏系统性的比较。我们通过在 Agentic、Reasoning 和 Perception 三个领域对监督微调（SFT）和强化学习（RL）进行受控的单教师对比，研究哪种训练算法能产生更适合 OPD 的教师。我们进一步考察这种优势是否能扩展到多教师 OPD（MOPD）。教师和学生共享相同的 Qwen3.5-9B 初始化，并在相似的任务性能下比较两种教师类型。我们的单教师实验表明，在所有三个领域中，RL 教师都能产生更强的学生，并实现更高的教师性能增益恢复。在 MOPD 中，RL 教师组产生的学生在三领域平均分和整体教师增益恢复上也高于 SFT 教师组。我们的进一步分析表明，与 SFT 教师相比，RL 教师相对于共享初始化的参数偏移更小。在 OPD 早期，教师—学生 Top-K 重叠也增长得更快，或者在使用 RL 教师时始终高于 SFT 教师。这些发现支持了以下假设：RL 教师偏离学生起点的程度更小，有利于通过 OPD 进行学习，从而产生更强的学生。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.32303 [cs.AI] |
| （或使用 arXiv:2609.32303v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.32303 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jingyuan Huang [查看邮箱]
[v1]
2026年9月26日星期六 06:59:03 UTC（130 KB）
[v2]
2026年10月7日星期三 02:15:02 UTC（134 KB）
[v3]
2026年10月22日星期四 20:37:53 UTC（160 KB）
来源：arXiv cs.AI · arxiv.org