arXiv cs.AI· Yutong Chen, Guangfu Guo, Zhichao Xu, Kunpeng Liu·· 3 天前AI 评分25
DualOPSD：在 On-Policy 自蒸馏中闭合反馈回路
DualOPSD: Closing the Feedback Loop in On-Policy Self-Distillation
AI 导读
DualOPSD 通过让特权教师模型在学生每次更新后同步适应，闭合了 OPSD 中教师收不到学生反馈的回路，并用基于冻结初始模型的残差目标保留特权上下文效果。在 Qwen3-8B/4B/1.7B 和三个数学基准上，DualOPSD 的 avg@12 准确率较 OPSD 提升 9.83 个百分点。诊断分析显示其双向 KL 更低、失配更少，代码已开源。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）将学生生成的轨迹与来自同一模型的特权教师的密集监督相结合。其逐点裁剪保护学生免受局部不兼容的教师方向影响，但固定的教师无法获得关于学生拒绝的监督的反馈，这限制了对教师的有效学习。我们提出 DualOPSD，它在耦合的师生系统中交替更新。学生保留 OPSD 的裁剪前向 KL 目标。特权教师在每次学生更新后适应更新后的学生。基于冻结初始模型的残差目标在教师适应过程中保留了特权上下文的效果。在 Qwen3-8B/4B/1.7B 和三个数学基准上，DualOPSD 将 avg@12 准确率较 OPSD 提高了 9.83 个百分点。进一步的诊断分析显示，双向 KL 更低、不匹配更少持续，并且对特权参考的敏感性得以保留。总之，这些结果表明 DualOPSD 可以是一种更有效的特权自蒸馏形式。代码见：此 https URL。
| 评论： | 预印本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.26019 [cs.LG] |
| （或 arXiv:2608.26019v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.26019 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yutong Chen [查看邮箱]
[v1]
2026年8月26日星期三 17:01:21 UTC（171 KB）
[v2]
2026年10月13日星期二 17:08:56 UTC（356 KB）
来源：arXiv cs.AI · arxiv.org