arXiv·· 11 天前AI 评分27
重新审视跨分词器在线策略蒸馏：从对齐覆盖率到监督可靠性
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
AI 导读
针对跨分词器在线策略蒸馏（OPD），研究在数学推理与代码生成任务的三组异构教师—学生模型上考察扩大对齐覆盖率能否提升学习效果。结果显示，严格的 1:1 对齐分组已覆盖学生生成的大部分 token，尽管词表差异显著；在蒸馏前学生采样的回复上，共享词表保留了……
来源：arXiv · arxiv.org