arXiv cs.CL· Mingyu Yang, Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Nima Tajbakhsh, Ashwath Aithal, Pavlo Molchanov·· 12 小时前AI 评分29
CSD：面向跨 Tokenizer 知识迁移的公共支撑蒸馏
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
AI 导读
研究者提出 Common-Support Distillation（CSD），一种统一的 logits 蒸馏框架，在每个对齐输入片段上构建教师与学生的共享支撑，并用单一目标匹配诱导分布。
正文 · AI 翻译
摘要：跨分词器 logits 蒸馏能够实现跨模型家族的知识迁移，使学生能够从更强或更专门的教师模型学习。然而，词汇和分词方式的差异使得教师和学生的下一 token 分布难以对齐。现有的基于 logits 的方法易于集成到标准蒸馏流程中，但往往依赖限制性的启发式规则或特定分词器对的选项。它们可能将监督限制在共享词汇子集上，需要为不同的分词器对手动选择不同的目标，或者只匹配观察到的块及其补集，而不是单个替代延续。我们提出了 Common-Support Distillation（CSD），这是一个统一的基于 logits 的框架，在每个对齐的输入块上构建教师和学生之间的共享支持集，并用单一目标匹配诱导出的分布。对于一对一的对齐，CSD 使用显式的公共 token 对作为共享支持集。对于其他对齐，它构建一个虚拟支持集，其概率使用自回归链式法则计算。一个残差事件捕获显式支持集之外的概率质量，确保两个诱导分布都保持归一化。在包含 Llama-3.2-1B 和 Gemma3-1B-PT 学生模型与 Qwen 和 Phi 教师模型的四种师生设置中，CSD 在被评估的跨分词器方法中始终取得最高的平均性能，比最强的替代方法高出最多 1.8 分，并超过了继续预训练和同分词器蒸馏。对于 Llama-3.1-8B，CSD 相比最强的评估基线，将基础学生模型的平均准确率提高了最多 4.2 分，将指令微调学生模型提高了 1.6 分。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28895 [cs.CL] |
| （或 arXiv:2610.28895v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28895 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingyu Yang [查看邮箱]
[v1]
2026年10月20日星期二 20:18:46 UTC（720 KB）
来源：arXiv cs.CL · arxiv.org