arXiv cs.AI· Yuanda Xu, Hejian Sang, Zhengze Zhou, Shayan Mohajer Hamidi, Xiaomin Li, Rohit Jain, Alborz Geramifard·· 11 小时前AI 评分29
Δ-MOPD：多教师在线策略蒸馏中传递教师减基线的 logit 偏移
Composing What Each Teacher Learned: Delta Distillation for Multi-Teacher On-Policy Learning
AI 导读
论文提出 Δ-MOPD，将每位教师的 teacher-minus-base logit 偏移重新锚定在学生冻结初始化上，替代多教师在线策略蒸馏（MOPD）中常用的端点策略监督。
正文 · AI 翻译
摘要：多教师同策略蒸馏（MOPD）用于两种设置。在共同域组合中，多位教师对来自同一提示域的每个学生 rollout 打分，其信号构成单一目标；在路由域蒸馏中，来自不同域的提示被分配给相应的专家。两种设置通常都迁移每位教师的端点策略，该策略混合了后训练所改变的内容与继承自教师基座的偏好。我们提出 $\Delta$-MOPD，它迁移每位教师的教师减基座 logit 偏移，并将其重新锚定在学生冻结的初始化上，并在保持教师选择固定的情况下，在两种设置中将其与端点监督进行比较。我们首先揭示阻碍端点迁移的机制：继承的基座拉力可能超过后训练偏移。移除它可降低教师项范数比和目标--学生 KL。
在我们的实验中，结果表明当教师信号在某一状态被组合时，偏移目标特别有用。在三位组合教师下，$\Delta$-MOPD 在 Math 上超过端点组合 $4.11$ 分，在五项基准上超过 $1.95$ 分；在两位教师下，其准确率与端点相当。在分阶段路由下，它在两种阶段顺序下均取得更高的平均性能，并将观察到的顺序差距从 $10.50$ 分降至 $6.42$ 分。在交错路由下，每次更新涉及一位教师，两种目标表现相当。分阶段结果为该收益可能扩展到跨训练阶段累积的信号提供了支持性证据。因此，目标构建是 MOPD 中一个独立的设计轴，与教师选择互补。实验仓库可在 此 https URL 找到
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10460 [cs.LG] |
| （或 arXiv:2610.10460v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10460 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuanda Xu [查看电子邮件]
[v1]
2026年10月7日星期三 17:27:46 UTC（83 KB）
[v2]
2026年10月20日星期二 16:51:01 UTC（84 KB）
来源：arXiv cs.AI · arxiv.org