arXiv cs.AI· Wei Fan, Qingyue Yang, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Kejiang Chen, Weiming Zhang, Nenghai Yu·· 3 天前AI 评分36
LoOPSD：用循环教师做同策略自蒸馏
LoOPSD: On-Policy Self-Distillation with Looped Teachers
AI 导读
LoOPSD 通过搜索模型自身的层执行顺序（重复某些层）构建更强的教师，并将教师的预测优势蒸馏回学生，且每轮用更新后的学生重建教师。在 GSM8K、400 token 思考预算下，该方法将 Qwen3-1.7B 准确率从 42.30% 提升至 79.61%，后续蒸馏轮次还能带来进一步增益。
正文 · AI 翻译
摘要：在线策略自蒸馏利用模型自身的指导来改进模型，但它仍然需要一个能提供比学生更有用预测的教师。现有方法通过给教师额外的上下文或指令来获得这种指导。我们提出疑问：这种指导能否改为来自改变同一模型使用自身层的方式。为此，我们引入了 LoOPSD，它搜索模型的层执行顺序以构建更强的教师，并将其优势蒸馏到学生中。具体来说，我们保持模型权重不变，同时搜索要重复的层，并使用所得教师对学生生成的前缀的预测来指导学习。然后我们交替进行搜索和蒸馏，在每一轮中从更新后的学生重建教师，使学生逐步吸收来自替代层执行的收益。在数学和逻辑推理任务上的实验显示，各模型均有改进。在 GSM8K 上，使用 400 token 的思考预算，LoOPSD 将 Qwen3-1.7B 的准确率从 42.30% 提升到 79.61%；后续蒸馏轮次在第一轮之后带来进一步提升。总之，这些发现表明，通过搜索层执行来构建教师，我们可以将模型的额外计算转化为学生能力的提升，为自蒸馏从模型自身计算中获取监督开辟了一条新途径。
| 评论： | 审稿中 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18162 [cs.LG] |
| （或 arXiv:2610.18162v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.18162 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wei Fan [查看电子邮件]
[v1]
2026年10月13日星期二 11:07:04 UTC（1,011 KB）
来源：arXiv cs.AI · arxiv.org