arXiv cs.CL· Mingyang Song, Mao Zheng·· 12 小时前AI 评分27
大语言模型在线策略蒸馏（On-Policy Distillation）综述
A Survey of On-Policy Distillation for Large Language Models
AI 导读
一篇综述提出以学生生成状态、教师信息与策略更新三者互动为统一框架，梳理大语言模型在线策略蒸馏（OPD）——即在学生模型自生成轨迹上施加教师指导的训练方法。该框架将蒸馏基础与自蒸馏、多教师集成、强化学习及交互式智能体相连接，并分析这些设置如何改变学生可获得的监督信号，进而关联能力迁移、训练效率与部署。综述聚焦学生演化过程中指导何时仍可靠且可学习，兼顾即时性能与后续学习能力。
正文 · AI 翻译
摘要：On-Policy Distillation（OPD）在学生模型生成的轨迹上借助教师指导来训练大语言模型，解决了固定示范与部署过程中遇到的历史轨迹之间的不匹配问题。随着其在大语言模型训练中的应用不断扩大，不同的监督与优化形式使得方法之间难以比较，也难以理解它们何时有效。本综述通过学生生成状态、教师信息与策略更新之间的相互作用，构建了 OPD 的统一视角。该框架将蒸馏的基础与自蒸馏、多教师集成、强化学习和交互式智能体联系起来。我们考察了这些设置如何改变学生可获得的监督，并将由此产生的设计选择与能力迁移、训练效率和部署联系起来。我们的综合聚焦于随着学生不断演化，指导在何种条件下仍然可靠且可学习，同时考虑即时性能和后续学习能力。最后，我们讨论了在调整监督和分配计算以支持有效学习方面的开放挑战。
| 评论： | 进行中的工作 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2604.00626 [cs.LG] |
| （或 arXiv:2604.00626v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.00626 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mingyang Song [查看邮箱]
[v1]
2026年4月1日星期三 08:32:34 UTC（84 KB）
[v2]
2026年5月12日星期二 12:53:33 UTC（137 KB）
[v3]
2026年5月18日星期一 12:04:15 UTC（152 KB）
[v4]
2026年6月18日星期四 17:00:51 UTC（170 KB）
[v5]
2026年10月21日星期三 08:22:26 UTC（579 KB）
来源：arXiv cs.CL · arxiv.org