arXiv cs.AI· Wenxuan Luo, Chenxi Li, Haoyue Liu, Yongxin Guo, Xiaoying Tang·· 2 天前AI 评分22
CCE-OPD：面向语言模型在线策略蒸馏的条件对比外推方法
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
AI 导读
针对在线策略蒸馏（OPD）中教师模型易偏好违反问题前提的无效续写、进而鼓励错误推理步骤的问题，研究者提出 CCE-OPD，通过固定前缀对比与有界对数概率对比让教师监督对问题条件敏感。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）通过让一个学生语言模型在其自身生成的轨迹上进行训练，并接受更强教师的监督，从而提升该学生模型。然而，当以学生生成的前缀为条件时，教师可能会偏好违反问题前提的无效续写，导致 OPD 鼓励错误的推理步骤。作为补救，我们提出了条件对比外推在线策略蒸馏（CCE-OPD），它使教师监督对问题条件敏感。CCE-OPD 包含（1）固定前缀比较，其中同一个冻结教师评估完整问题以及一个掩蔽了所选条件的对应问题，以及（2）有界对数概率对比，将教师分布重新加权为辅助蒸馏目标。在 200 个诊断推理状态上，条件对比将偏好无效续写的比率从 27.0% 降低到 16.0%。在六个数学基准上的大量实验表明，将 Qwen3-8B 蒸馏到 0.6B 和 1.7B 学生模型时，CCE-OPD 相比 OPD 将 avg@8 平均分别提升 1.60 和 1.95 个百分点。它还在四个迁移基准上取得了最佳结果。
| 评论： | 15 页，2 幅图，12 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21195 [cs.AI] |
| （或 arXiv:2610.21195v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21195 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenxuan Luo [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 03:55:34 UTC（255 KB）
来源：arXiv cs.AI · arxiv.org