arXiv cs.CL· Guhan Chen, Bohan Li, Jun Rao, Hejin Wang, Songtao Tian, Yexin Xie, Xiaojun Meng, Peng Yuan, Jiansheng Wei, Xuebo Liu, Zixiong Yu·· 11 小时前AI 评分27
CoRD：耦合式 rollout 填补 on-policy 蒸馏的盲区
CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation
AI 导读
CoRD（coupled-rollout distillation）通过推测解码的最大耦合对学生与教师分布做几何插值采样，在保留 on-policy 损失的同时把训练状态分布推向教师，且干预随学生进步而减少。
正文 · AI 翻译
作者：Guhan Chen、Bohan Li、Jun Rao、Hejin Wang、Songtao Tian、Yexin Xie、Xiaojun Meng、Peng Yuan、Jiansheng Wei、Xuebo Liu、Zixiong Yu
摘要：同策略蒸馏（on-policy distillation）让学生模型在自己的 rollout 上训练，因此教师会到达但学生未到达的状态很少受到监督。我们提出 CoRD（coupled-rollout distillation，耦合 rollout 蒸馏），它保留同策略损失，仅将训练状态的分布向教师移动，通过推测解码的最大耦合从学生与教师的几何插值中抽取 rollout。该耦合在两个分布一致时保留学生的 token，否则从目标分布中学生低估的部分替换一个 token，因此干预频率与任何精确采样器所允许的一样低，并随着学生的学习而减少。在两个模型家族（Qwen3 和 Qwen3.5，0.6B 至 4B）的六个基础学生模型上，在相同步数和数据下，CoRD 在五个公开数学基准上将平均 pass@1 较同策略蒸馏提升 0.9 至 2.0 个百分点，pass@8 提升 1.2 至 3.4 个百分点。在冻结的教师到达状态上，使用 CoRD 训练的 4B 学生在 16 步内达到的差距闭合程度，是同策略蒸馏在 80 步内都未达到的；而在其他方向上干预频率至少同样高的替换规则，其表现不及 CoRD。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07959 [cs.LG] |
| （或 arXiv:2611.07959v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07959 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zixiong Yu [查看邮箱]
[v1]
2026年11月5日 星期四 12:55:51 UTC（1,781 KB）
来源：arXiv cs.CL · arxiv.org