跳到正文
arXiv cs.AI· Hubert Strauss, Liam Fowl, Noam Razin·· 10 小时前AI 评分26

哪些 token、以何顺序、多快?On-Policy 蒸馏目标的理论分析

Which Tokens, in What Order, and How Fast? A Theoretical Analysis of On-Policy Distillation Objectives

AI 导读

该研究从理论上分析了 on-policy 蒸馏(OPD)目标的选择如何决定 token 优先级、学习顺序与优化效率。序列级 OPD 存在"未来一致性偏差",会先匹配教师模型靠后的 token 位置,而 token 级目标可避免这一反向学习顺序;前向 KL 散度优化景观良好,反向 KL 等其他 f-散度即使师生差距大也可能梯度消失。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:同策略蒸馏(OPD)训练学生语言模型,使其基于自身的生成结果来匹配教师模型。使用 OPD 时,必须选择是在序列层面还是 token 层面应用它,以及最小化哪种散度。然而,尽管 OPD 在实践中被广泛采用,对于在给定设置下哪种 OPD 目标合适,形式化的理解仍然有限。为弥补这一空白,我们从理论上分析了 OPD 目标的选择如何决定哪些 token 被优先考虑、以何种顺序以及效率如何。我们的分析揭示,序列级 OPD 表现出未来一致性偏差,而短视的 token 级目标可避免这一偏差。该偏差会引发反向学习顺序:序列级 OPD 首先在较后的 token 位置匹配教师,而在较前的位置上,它可能偏好那些在教师模型下概率很低、因而通常不理想的 token。至于散度的选择,我们证明它强烈影响 OPD 对基于梯度的优化的适应性。特别是,虽然前向 KL 散度具有性质良好的目标景观,但其他 $f$-散度(如反向 KL)即使学生与教师相距甚远,也可能遭遇梯度消失。在语言模型后训练设置中,我们展示了这些理论发现对于哪种 OPD 目标更可取的含义,强调了考虑学生、教师与手头任务之间相互作用的重要性。
评论: 代码可在 此 https URL 获取
主题: 机器学习(cs.LG);人工智能(cs.AI);机器学习(stat.ML)
引用为: arXiv:2611.23397 [cs.LG]
  (或 arXiv:2611.23397v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23397

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Noam Razin [查看电子邮件]
[v1] 2026年11月17日星期二 19:01:02 UTC(379 KB)

来源:arXiv cs.AI · arxiv.org