arXiv cs.CL· Bowen Fang (Columbia University), Dingmin Wang (AWS AI Lab), Hengzhi Pei (Amazon AGI)·· 11 小时前AI 评分26
D²-OPD：在推演式在线策略蒸馏中分离方向与距离
$D^2$-OPD: Separating Direction and Distance in Extrapolative On-Policy Distillation
AI 导读
D²-OPD 提出将推演式在线策略蒸馏（OPD）中的外推方向与外推距离解耦：用逐前缀的硬 KL 约束限制目标偏离教师模型的距离，由教师模型后训练偏移与初始学生-教师差距的自适应组合决定外推方向，并以正向 KL 优化学生模型。在数学推理基准的三类设置中，D²-OPD 均取得最高分，最强基线最多被超出 9.45 分。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）训练学生模型在由学生生成的 prefix 上匹配教师的下一 token 分布。外推式 OPD 进一步扩展教师相对于参考策略的对数概率偏移，以构建更强的学习目标。然而，现有方法将外推方向与距离耦合在一起，使得教师偏移的幅度决定了目标移动的距离。我们提出 $D^2$-OPD，将这两个因素解耦：逐 prefix 的硬 KL 约束限制目标与教师之间的距离，而教师训练后偏移与初始学生—教师差距的自适应组合决定外推方向。我们使用前向 KL 将学生优化至该目标，即使对低概率 token 也能提供学习信号。我们评估了三种设置：标准 OPD 表现良好的情况、其在基座模型初始化下表现不佳的情况，以及没有教师参考可用的情况。在数学推理基准上，$D^2$-OPD 在三种设置中均取得最高分，比最强基线高出最多 9.45 分。消融实验验证了各组成部分的贡献。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07241 [cs.LG] |
| （或 arXiv:2611.07241v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07241 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bowen Fang [查看邮箱]
[v1]
2026年11月4日星期三 23:45:46 UTC（341 KB）
来源：arXiv cs.CL · arxiv.org