arXiv cs.CL· Taiming Lu, Zhuang Liu·· 13 小时前AI 评分34
强教师并非必需？论 LLM 预训练中的知识蒸馏
Strong Teacher Not Needed? On Distillation in LLM Pretraining
AI 导读
一项 NeurIPS 2026 研究挑战了知识蒸馏必须“强教师带弱学生”的假设：在 LLM 预训练中，只要合理混合语言建模损失与蒸馏损失，即使规模小、训练不足的教师也能提升更大学生的表现。而通过增加参数量或训练 token 继续强化教师，蒸馏收益可能饱和甚至反转。研究还发现，蒸馏对分布外和下游性能等泛化能力的提升比对域内拟合更明显。
正文 · AI 翻译
摘要：知识蒸馏通常假设存在一种强到弱的关系，即更强的教师能培养出更好的学生。在本工作中，我们考察了大型语言模型预训练中关于蒸馏的这一假设。通过改变架构规模和训练 token 预算，我们构建了强到弱、同级别和弱到强的师生关系，并研究了每种关系下蒸馏的有效性。我们发现教师不必很强：只要适当混合语言建模损失和知识蒸馏损失，即使规模小且训练不足的教师也能提升更大学生的表现。同时，更强的教师并不总是更好：通过更多参数或更多训练 token 进一步强化教师，可能会使蒸馏收益饱和甚至逆转。我们进一步观察到，蒸馏比域内拟合更容易提升泛化能力（分布外性能和下游性能）。总之，这些结果挑战了蒸馏预训练总是需要强教师的普遍看法。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.23857 [cs.LG] |
| （或本版本使用 arXiv:2605.23857v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.23857 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：TaiMing Lu [查看邮箱]
[v1]
2026年5月22日星期五 17:16:35 UTC（5,513 KB）
[v2]
2026年10月26日星期一 22:40:35 UTC（5,037 KB）
来源：arXiv cs.CL · arxiv.org