arXiv cs.CL· Guan Zhe Hong, Sumeet Ramesh Motwani, Liang Chen, Yangchen Pan, Junchi Yu, Jialin Yu, Philip Torr, Yi Ren·· 11 小时前AI 评分31
论文解析 on-policy 蒸馏的学习动力学
Learning Dynamics of On-Policy Distillation
AI 导读
一项机理性分析将 on-policy 蒸馏（OPD）的反馈回路拆为两个阶段：蒸馏信号转化为参数更新，以及更新通过广播改变各前缀预测并重塑 rollout 分布。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）正逐渐成为语言模型后训练的重要范式，它将密集的教师监督与基于学生生成轨迹的训练相结合。这形成了一个反馈循环：每次更新都会改变学生，从而改变生成后续更新的训练分布。然而，这种反馈如何塑造学习与泛化仍鲜为人知。我们对 OPD 的学习动态进行了机制性分析，区分了反馈循环的两个阶段：将蒸馏信号转化为参数更新，以及通过这些更新改变各前缀上的预测并重塑 rollout 分布的广播过程。该框架帮助我们理解：尽管师生之间存在大量分歧，学生的响应能力却有限；以及当改善局部教师一致性的更新同时提高了不成功续写的概率、使学生在后续 rollout 中暴露于不可靠监督之下时，所出现的退化现象。最后，我们表明离线蒸馏可以为学生做好 OPD 的准备，而不会显著提升即时的留出准确率。虽然单独使用 OPD 可能降低生成质量，但在充分的离线准备之后，它可以带来可观的准确率提升。总之，我们的结果将教师监督、学生几何结构与不断演化的 rollout 分布联系起来，共同决定了 OPD 的学习动态及其对下游性能的影响。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08016 [cs.LG] |
| （或本版本的 arXiv:2611.08016v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.08016 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guan Zhe Hong [查看邮箱]
[v1]
2026年11月5日星期四 13:38:26 UTC（916 KB）
来源：arXiv cs.CL · arxiv.org