arXiv cs.AI· Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, Ming Yang, Zhi Zhou, Yu-Feng Li, Yipeng Sun, Gu Simiu·· 6 天前AI 评分22
多教师在线策略蒸馏的跨教师守护方法 Road MOPD
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
AI 导读
针对多教师在线策略蒸馏（MOPD）中域路由无法避免共享参数上的梯度冲突问题，研究者提出 Road MOPD，引入非路由教师作为跨域评论者，通过 token 级信用分配与多教师梯度投影协调监督。实验显示，该方法在高冲突场景下提升超过 5 个百分点，并改善低冲突与三域设置下的整体表现。
正文 · AI 翻译
作者：Shi-Yu Tian、Yong Liu、Ximan Liu、Tianrui Zhu、Sule Bai、Xinwei Yang、Ruiqi Liu、Kun-Yang Yu、Ming Yang、Zhi Zhou、Yu-Feng Li、Yipeng Sun、Gu Simiu
摘要：多教师在线策略蒸馏（MOPD）通过将领域特定数据路由到专门的教师模型，扩展了在线策略蒸馏（OPD），并通过对学生生成轨迹进行密集的 token 级监督来整合各教师的能力。然而，领域路由仅区分不同领域的监督来源；来自所有领域的更新仍然作用于共享参数。当教师模型在响应风格和领域专长上差异显著时，单独有效的监督在联合优化过程中仍可能导致持续的梯度冲突和能力退化。为应对这一挑战，我们提出了面向 MOPD 的跨教师守护（Road MOPD），它将非路由教师作为同一学生轨迹上的辅助跨领域评判者，并通过 token 级信用分配和梯度更新来协调多教师监督。具体而言，跨教师引导的信用分配利用教师间的一致性来强化教师共同支持的 token 级修正，并衰减冲突信号；预防性多教师梯度投影利用来自同一轨迹的辅助梯度来约束可能冲突的更新，并自适应地控制投影强度以保留目标领域的学习信号。在实验中，Road MOPD 缓解了劣势领域的退化，在高冲突下提升超过 5 个百分点，并在低冲突和三领域设置中提升了整体性能。
| 评论： | 30 页，9 幅图，10 张表，包括参考文献和附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13521 [cs.AI] |
| （或 arXiv:2610.13521v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13521 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shi-Yu Tian [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 12:41:51 UTC（1,102 KB）
来源：arXiv cs.AI · arxiv.org