arXiv cs.AI· Shuo Yang, Zheyu Zhang, Mahito Sugiyama, Gjergji Kasneci·· 3 天前AI 评分32
当训练集中于学生失败题目时，On-Policy Distillation 为何反而强化错误
Correcting or Continuing? What On-Policy Distillation Learns from Student Errors
AI 导读
研究用 Qwen-3 和 Phi-4 在统一竞赛数学协议下评测五种 On-Policy Distillation（OPD）机制，发现当训练仅集中于学生当前做错的题目时，OPD 无法提升准确率，八个配置全部下降，双尾符号检验 p=0.0078。相同流程在不集中于失败题目时准确率提升 4.6 个百分点，说明该失效取决于训练机制而非系统性缺陷。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）在冻结的教师模型下，用学生模型自身的 rollout 来训练学生，从而缓解离线策略监督的分布不匹配问题。以往的工作主要在学生基本能解决的问题上进行训练，而我们则探究：当训练仅限于学生当前失败的问题时，OPD 能否提升学生表现。我们在统一的竞赛数学协议下，用 Qwen-3 和 Phi-4 模型评估了五种具有代表性的 OPD 机制。我们发现，OPD 在这个困难子集上并未提升准确率，大多数机制反而导致性能下降，尽管训练 KL 散度持续降低。全部八种配置均出现下降，双侧符号检验给出 p=0.0078。相比之下，当训练不集中于失败问题时，同一流程将准确率提升了 4.6 个百分点，表明该失败取决于训练机制，而非系统性问题。这些发现表明，当监督以正确的学生前缀为主时，OPD 是有效的，但当训练集中于学生当前失败的问题时，可能会强化已有的错误。
| 评论： | 10 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18011 [cs.LG] |
| （或 arXiv:2610.18011v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18011 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Shuo Yang [查看邮箱]
[v1]
2026年10月13日 星期二 09:10:58 UTC（318 KB）
来源：arXiv cs.AI · arxiv.org