arXiv cs.AI· Shripad V. Deshmukh, Christian Bock, Kangrui Ruan, Abhijeet Awasthi, Vijay Lingam, Rein Houthooft, Manish Prajapat·· 11 小时前AI 评分38
Projected Distillation：用最小修正把失败尝试变成正确目标，实现近同策略学习
Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets
AI 导读
研究者提出 projected distillation，将学生模型的失败尝试最小幅度编辑为正确目标，并用对比更新偏好修正、随学生演化刷新，从而在学生全部尝试失败时仍能进行近同策略学习。
正文 · AI 翻译
摘要：在线策略学习是后训练的核心：在模型自身的生成结果上训练可以限制分布偏移，并有助于保留现有能力。然而，在困难问题上，当所有尝试都失败时，在线策略强化学习无法提供基于奖励的学习信号。在线策略蒸馏提供来自教师的下一词元监督，但在困难问题上，如果一次 rollout 在早期出错，后续监督就会以已经包含错误的 prefix 为条件。正确行为可以来自金标准或教师解答，但这种离策略目标可能与模型的生成结果存在显著差异，并且正如我们所展示的，可能会侵蚀现有能力。因此，我们将在线策略性视为一个连续谱，并提出投影蒸馏，它将学生的失败尝试最小限度地编辑为正确目标。该方法使用对比更新来偏向修正而非失败尝试，并随着学生的演进刷新这些修正，从而即使所有学生尝试都失败，也能实现接近在线策略的学习。在理论上，我们证明学生的学习遗憾随编辑幅度增长：在最小修正下，它随视界线性增长，如 DAgger 中那样；在完整答案替换下，它随视界二次增长，如行为克隆中那样。在实证上，跨两个学生（Qwen3-8B 和 OLMo-2-7B）以及涵盖数学、代码、科学和工具使用的五个领域，投影蒸馏在专业化-保留前沿下取得最高的曲线下面积（在 9 个单元格中有 8 个优于 GRPO 和 OPD，有 7 个优于 SPOT 和 SODA）。我们的消融实验强调了在线修正、对比损失和在线策略性的重要性：将目标进一步移向离策略会持续恶化专业化-保留权衡，当最小修正被替换为与学生无关的金标准解答时，保留率从 0.916 降至 0.744。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27467 [cs.LG] |
| （或 arXiv:2610.27467v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27467 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shripad Deshmukh [查看电子邮件]
[v1]
2026年10月20日星期二 01:38:01 UTC（574 KB）
来源：arXiv cs.AI · arxiv.org