arXiv cs.AI· Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang·· 10 天前AI 评分23
重新审视跨分词器 On-Policy Distillation：从对齐覆盖率到监督可靠性
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
AI 导读
研究重新审视跨分词器 On-Policy Distillation（OPD），发现严格 1:1 对齐组已覆盖大部分学生生成 token，在共享词表上仅保留学生选出的 top-16 子集即可达到与全共享词表 OPD 相当的准确率，并优于所评估的跨分词器基线。
正文 · AI 翻译
摘要：On-Policy Distillation（OPD）利用教师反馈，在学生自身生成的输出上训练学生。当分词器不同时，比较教师和学生的预测需要在序列和词表两个层面进行对齐。本文考察扩大这种对齐覆盖范围是否能改善学习效果。在数学推理和代码生成任务上的三对异构教师—学生组合中，尽管词表存在显著差异，严格的 1:1 分组已经覆盖了学生生成的大部分 token。在蒸馏前从学生采样的回复上，共享词表在严格对齐位置上平均保留了几乎全部教师和学生的概率质量。将反向 KL 限制在每个严格位置上由学生选出的共享词表 top-16 子集，可达到与完整共享词表 OPD 相当的准确率，并优于所评估的跨分词器基线。在不匹配组中对 span 对数概率添加均方误差监督可实现完整的监督覆盖，却降低了准确率。在仅使用严格损失训练得到的检查点上，span 梯度与严格梯度的方向一致性较弱或为负，且相对于严格梯度其幅度不断增大。这些诊断结果可能有助于解释添加 span 监督所导致的准确率下降。我们的发现促使我们从最大化对齐覆盖转向优先考虑监督可靠性：在严格位置上的紧凑监督可能比引入弱对齐或冲突训练信号的更广泛覆盖更有效。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08448 [cs.CL] |
| （或 arXiv:2610.08448v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08448 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Guochao Jiang [查看邮箱]
[v1]
2026年10月6日星期二 14:37:22 UTC（734 KB）
来源：arXiv cs.AI · arxiv.org