Bootstrapped On-Policy Distillation（BOPD）：两阶段框架解决 OPSD 持续训练性能退化问题

查看 PDF HTML（实验性）

摘要：同策略蒸馏（OPD）通过在学生生成的轨迹上蒸馏教师的预测来改进语言模型，而同策略自蒸馏（OPSD）则通过使用模型的一个以参考为条件的副本作为教师，从而无需外部教师。尽管 OPSD 在早期取得了显著改进，但我们发现它在持续训练下并不能始终保持有效，最终可能遭受严重的性能退化。我们研究了这种训练行为，并将退化与不断演化的无参考学生模型和冻结的特权教师模型之间日益增大的不匹配联系起来。在 OPSD 的早期阶段，特权教师模型仍与学生模型保持紧密对齐，并为改进学生的生成轨迹提供有用的指导。然而，随着训练推进，特权教师模型与无参考学生模型之间不断增大的分布不匹配可能导致教师提供误导性的监督，最终降低学生性能。这一现象促使我们首先利用特权参考监督来获取有用知识，然后将其迁移到一个全新的学生模型。我们提出了自举同策略蒸馏（BOPD），这是一个两阶段框架，首先使用 OPSD 将以参考为条件的监督中与任务相关的信息内化到一个中间模型，然后将这个无参考的中间模型蒸馏到初始模型的一个全新副本中。跨模型的实验表明，BOPD 在数学推理和代码生成方面优于初始模型和所构建的 OPSD 教师模型。这些结果表明，通过先将特权参考监督的任务相关信号迁移到一个任务适配的模型，然后在不带参考条件的情况下从该模型进行蒸馏，可以更有效地利用这种监督。

学科：	机器学习（cs.LG）；人工智能（cs.AI）
引用为：	arXiv:2611.13680 [cs.LG]
	（或 arXiv:2611.13680v1 [cs.LG] 为此版本）
	https://doi.org/10.48550/arXiv.2611.13680 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Yue Wu [查看邮箱]
[v1] 2026年11月10日星期二 07:30:34 UTC（254 KB）