arXiv cs.AI· Xuanfeng Yang, Le Gui, Jiaming Wang, Xuan Zhang·· 11 小时前AI 评分22
CA-MOPD：能力感知的多教师在线策略蒸馏方法
Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation
AI 导读
研究者提出能力感知多教师在线策略蒸馏方法 CA-MOPD，先合并强化学习专家得到强学生初始化，再用验证器估计的教师—学生能力差距调整各领域蒸馏强度。在数学、代码生成和指令遵循的六个基准上，CA-MOPD 平均得分 32.22，分别超过朴素 MOPD、Open-MOPD 和合并初始化 0.86、0.83 和 0.74 分。
正文 · AI 翻译
摘要：多教师在线策略蒸馏（MOPD）将领域专家整合到一个共享的学生模型中，但确定每位教师应以多强的力度进行监督仍然具有挑战性。现有的基于差异的分配方式，即使学生已经达到或超过教师在任务上的表现，也可能分配较强的监督，因为行为不匹配并不一定意味着仍存在能力差距。我们提出能力感知多教师在线策略蒸馏（CA-MOPD），它将专家合并与能力引导的分配相结合，以考虑学生已经学到的内容。CA-MOPD 首先将强化学习专家合并为一个较强的学生初始化，然后使用验证器估计的教师—学生能力差距来调整领域级蒸馏强度。随着能力差距缩小，监督减弱；当估计的学生能力回退时，监督增强，同时教师仍提供密集的 token 级指导。在涵盖数学、代码生成和指令遵循的六个基准上，CA-MOPD 取得 32.22 的平均分，分别比朴素 MOPD、Open-MOPD 和合并初始化高出 0.86、0.83 和 0.74 分。在匹配训练预算下的受控比较进一步支持了合并初始化与能力差距引导的收益。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.26950 [cs.LG] |
| （或 arXiv:2610.26950v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26950 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xuanfeng Yang [查看电子邮件]
[v1]
2026年10月18日星期日 09:09:06 UTC（166 KB）
来源：arXiv cs.AI · arxiv.org