arXiv cs.AI· Anhao Zhao, Haoran Xin, Junlong Tong, Yingqi Fan, Xuan Lu, Ping Nie, Wenjie Li, Xiaoyu Shen·· 9 天前AI 评分27
DIAL-OPD：在 On-Policy 蒸馏中用更少 token 学到更多
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
AI 导读
DIAL-OPD 是一种 token 选择方法，通过用教师与学生概率的对数均值加权奖励幅度，弥合对数概率与概率空间，仅保留 40% token 即超越 Vanilla OPD 及其全 token 变体。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）利用词元级教师信号监督学生模型生成的轨迹。其采样词元变体避免了全词表概率的开销。然而我们发现，在更少词元上训练可以优于全词元 OPD，这挑战了更多监督能改善学习的直觉。这促使我们按学习价值选择词元。现有的基于分歧的准则忽略了概率尺度：被两个模型都赋予可忽略概率的词元，称为低-低词元，可能获得较大的对数比奖励并阻碍学习。我们提出 DIAL-OPD，一种词元选择方法，通过用教师和学生概率的对数均值对奖励幅度加权，来连接对数概率空间和概率空间。参数 beta 控制该加权，保留得分最高的词元。在 4 对教师-学生模型和 7 个数学推理基准上，我们将 DIAL-OPD 与 9 个基线进行比较。仅保留 40% 的词元，它就优于 Vanilla OPD 及其全词元变体，相比 Vanilla OPD 平均准确率提升达 5.25 个百分点，并将 AIME25 Pass@16 从 13.33% 翻倍至 26.67%。在相同保留比例下，相比最强的词元选择基线，其平均准确率相对提升最高达 18%。使用 4B 教师时，DIAL-OPD 在两个学生规模上都超过了使用 8B 教师的最强全词元基线，表明有效的监督分配可以胜过教师规模扩展。进一步分析表明，适中的 beta 能在抑制低-低词元与保留有用分歧之间取得平衡。词元级证据揭示，DIAL-OPD 过滤掉了推理价值有限的高奖励词元，同时保留了对推理正确性至关重要的监督。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11659 [cs.CL] |
| （或 arXiv:2610.11659v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11659 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anhao Zhao [查看邮箱]
[v1]
2026年10月8日星期四 10:36:00 UTC（1,671 KB）
来源：arXiv cs.AI · arxiv.org