arXiv cs.CL· Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu·· 2 天前AI 评分32
无需训练的策略蒸馏：仅用前向传播融合专家模型
Training-Free On-Policy Distillation
AI 导读
研究者提出无需训练的策略蒸馏（training-free on-policy distillation），仅靠前向传播即可将多个独立微调的专家模型能力聚合为一个模型，平均精度超过任一单一专家。
正文 · AI 翻译
摘要：在线策略蒸馏将专家模型整合为一个学生模型，代价是每个教师都需要 rollout、教师前向传播和梯度步骤。我们表明，这种整合不需要训练：仅通过前向传播，就能将分别调优的专家的能力聚合到一个模型中，该模型平均而言比任一单独专家都更准确。当专家共享一个基础模型时，蒸馏具有精确的逐层解：融合模型的每个线性层必须在专家接收的输入上复现每个专家的输出，同时读取其自身的答案，这是一个最小二乘问题，其解只需要这些输入的二阶矩。对几百个 rollout 进行一次前向传播即可提供这些。我们称之为免训练在线策略蒸馏（\method）。rollout 中包含的内容比求解器更重要：在数学专家的 rollout 中，因重复循环而被截断的答案数量很少，但占据了其 token 的很大份额，移除它们可将融合模型在 AIME25 上从任务算术的水平提升到匹配精度下专家的水平。在 Olmo~3 7B 上，每个专家几 GPU 小时的前向计算即可产生一个通才模型，在七个数学和代码基准测试中均保留了每个专家的大部分增益。
| Comments: | 20 页，6 张图，9 张表 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.22236 [cs.LG] |
| （或 arXiv:2610.22236v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22236 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hongbo Ma [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 17:15:01 UTC（314 KB）
来源：arXiv cs.CL · arxiv.org