arXiv cs.CL· Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo·· 11 小时前AI 评分35
vOPD：用控制变量基线稳定 On-Policy Distillation
KL for a KL: On-Policy Distillation with Control Variate Baseline
AI 导读
研究者提出 vOPD，将 On-Policy Distillation 视为策略梯度 RL，引入控制变量基线来降低梯度方差。该基线可闭式表示为学生与教师之间的逐 token 负反向 KL 散度，直接取自现有前向传播，无需额外 critic 或推理。在数学、科学和指令遵循基准上，vOPD 稳定优于基础 OPD，并达到最昂贵的全词表方法水平。
正文 · AI 翻译
摘要：On-Policy Distillation（OPD）已成为大型语言模型后训练的主流范式，尤其是在推理领域。然而，由于单样本蒙特卡洛估计器的高梯度方差，OPD 在实践中仍不稳定，稳定训练的配方也尚不成熟。我们提出 vOPD（带控制变量基线的 On-Policy Distillation），将 OPD 视为策略梯度强化学习，并引入强化学习文献中的控制变量基线（典型为价值函数）来稳定训练。我们证明 OPD 价值函数具有闭式解：学生与教师之间逐 token 的负反向 KL 散度，可直接从现有前向传播中获得，无需额外的 critic 或推理。现有稳定方法要么在整个词表上计算完整的 token 级反向 KL，带来显著开销，要么将其限制在 top-k 支撑集上，使目标产生偏差。vOPD 则保留轻量的单样本估计器，并将价值函数作为分离的基线减去，从而在降低方差的同时保持梯度无偏。此外，我们证明对基线进行 top-k 近似可进一步降低成本而不损害性能。在数学、科学和指令遵循基准上，vOPD 始终优于基础 OPD，并与最昂贵的全词表方法相当，通过有原则的强化学习方差缩减实现了 OPD 的高效稳定。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.07865 [cs.LG] |
| （或 arXiv:2605.07865v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.07865 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minjae Oh [查看邮箱]
[v1]
2026年5月8日星期五 15:24:51 UTC（2,257 KB）
[v2]
2026年11月4日星期三 11:23:22 UTC（485 KB）
来源：arXiv cs.CL · arxiv.org