为什么 On-Policy Distillation 有时会失败：学习信号消失

查看 PDF HTML（实验性）

摘要：在线策略蒸馏（OPD）能够实现语言模型之间有效的能力迁移，但其失败背后的机制尚未被完全理解。在代码生成和数学推理任务中，使用更大规模教师模型的 OPD 会出现早期损失平台期，在 200 次更新后平均最终损失仅降低 25.1%，而自强化学习（self-RL）教师则达到 96.2%，后者是通过对初始学生模型进行进一步的强化学习（RL）训练得到的。为了理解这一差异，我们将 OPD 分析为小学习率极限下的理想化连续时间动力系统。我们的训练日志诊断将这些平台期与基于梯度的学习信号代理指标的早期下降相关联，而此时损失仍然很大；这些测量结果并不能确定底层梯度为何减弱。我们进一步证明，在正则性条件下，对于在共享参数化中与初始学生模型足够接近的教师模型，存在局部恢复保证，这为我们的实验中自强化学习教师的成功提供了一种条件性解释。在有和没有损失平台期的各次运行中，我们观察到相对参数变化很小（0.025-0.098%），并且 OPD 前后学生模型的表示具有高度相似性（各层线性 CKA $>0.98$）。这些观察结果表明，有限的表示适应可能导致了学习信号崩溃，这一假设仍有待检验。代码可在此 https URL 获取。

评论：	50 页。代码：此 https URL
学科：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.11247 [cs.LG]
	（或 arXiv:2610.11247v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11247 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Lei Zhao [查看电子邮件]
[v1] 2026年10月8日星期四 04:52:05 UTC（592 KB）