arXiv cs.CL· Guangzeng Han, Yu Wu, Xiaolei Huang·· 11 小时前AI 评分38
Order-Only On-Policy Distillation：仅用教师排序做在线策略蒸馏的 O³PD 方法
Order-Only On-Policy Distillation
AI 导读
研究者提出 Order-Only On-Policy Distillation（O³PD），在每个学生生成的 prefix 上只让学生复现教师 top-K token 的排序，而不拟合其概率值，因此目标对教师温度不变、无需调温度。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）通过匹配教师的 token 概率，在自身生成的文本上训练学生模型。这些概率纠缠着两类信息：教师偏好哪些 token，以及它有多自信。后者反映了教师自身的能力与校准程度，较小的学生模型可能无法复现。由于教师温度会在不改变排序的情况下改变这些数值，OPD 对温度选择也很敏感。我们探究教师的候选 token 排序是否已经足够，并提出仅排序在线策略蒸馏（O$^{3}$PD）。在每个学生生成的 prefix 处，O$^{3}$PD 训练学生复现教师 top-$K$ token 的排序，而不拟合其概率值。因此该目标对教师温度不变，且无需温度调参。在六组教师—学生对上，O$^{3}$PD 在 HMMT25、AIME24 和 AIME25 的平均成绩上于每一对中均优于 OPD，最高提升 2.9 分，在 AIME25 上最高提升 5.6 分。其他排序损失也能带来类似增益，因此收益来自序数监督本身。分析表明，O$^{3}$PD 与教师概率的偏离比 OPD 更大，却更忠实地复现了其排序，并得到更强的学生模型。因此，在线策略蒸馏需要迁移的知识在于排序，而非概率值。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02112 [cs.LG] |
| （或 arXiv:2611.02112v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02112 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guangzeng Han [查看邮箱]
[v1]
2026年11月1日星期日 18:38:29 UTC（648 KB）
来源：arXiv cs.CL · arxiv.org