arXiv cs.CL· Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Yilin Cheng, Bichuan Feng, Pengfei Liu, Junfeng Fang, Xiang Wang·· 2 天前AI 评分24
SimCT：为跨分词器在线策略蒸馏恢复丢失的监督信号
SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation
AI 导读
SimCT 通过扩大监督空间解决跨分词器在线策略蒸馏中共享 token 匹配丢弃教师信号的问题：在共享 token 之外，比较教师与学生模型都能实现的短多 token 续写，且不改变 OPD 损失形式。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）是将教师行为迁移到更小学生的标准工具，但它隐含地假设教师和学生的预测可以逐 token 进行比较，而只要两个模型对同一文本的分词方式不同，这一假设就不成立。在异构分词器下，精确的共享 token 匹配会在词汇表不一致的位置上悄然丢弃很大一部分教师信号。我们提出 \textbf{\underline{Sim}ple \underline{C}ross-\underline{T}okenizer OPD (SimCT)}，通过扩大监督空间来恢复这一信号：除共享 token 外，SimCT 还在两个分词器都能实现的短多 token 延续上比较教师和学生，而 OPD 损失形式本身保持不变。我们证明这些单元是最细粒度的可联合分词监督接口，并且更粗粒度的替代方案会消除对在线策略学习有用的教师-学生区分。在数学推理和代码生成基准上的三对异构教师-学生组合中，SimCT 相比共享词汇 OPD 和代表性跨分词器基线均表现出一致提升，消融实验证实这些改进来自恢复被精确共享 token 匹配丢弃的监督。代码见 \href{this https URL}{this https URL}。
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2605.07711 [cs.CL] |
| （或 arXiv:2605.07711v3 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.07711 arXiv 颁发的 DOI，经由 DataCite |
Submission history
来自：Jie Sun [查看邮箱]
[v1]
2026年5月8日星期五 13:16:17 UTC（999 KB）
[v2]
2026年5月21日星期四 08:28:27 UTC（1,002 KB）
[v3]
2026年10月15日星期四 08:39:01 UTC（1,009 KB）
来源：arXiv cs.CL · arxiv.org