arXiv cs.CL· Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Chao Zhang, Josiah Hester, Jindong Wang, Srijan Kumar·· 11 小时前AI 评分30
UniSD：面向大语言模型的统一自蒸馏框架
UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
AI 导读
研究者提出 UniSD 统一框架，系统研究大语言模型的自蒸馏机制，整合多教师一致性、EMA 教师稳定化、token 级对比学习、特征匹配与散度裁剪等组件。在 6 个基准、3 个模型家族的 6 个模型上，该框架揭示了自蒸馏何时优于静态模仿及各组件的作用与交互。据此构建的 UniSDfull 综合流程较基座模型提升 +5.4 分，较最强基线提升 +2.8 分。
正文 · AI 翻译
作者：Yiqiao Jin、Yiyang Wang、Lucheng Fu、Yijia Xiao、Yinyi Luo、Haoxin Liu、B. Aditya Prakash、Chao Zhang、Josiah Hester、Jindong Wang、Srijan Kumar
摘要：自蒸馏（SD）为在不依赖更强外部教师模型的情况下适配大语言模型（LLM）提供了一条有前景的路径。然而，在自回归 LLM 中，自蒸馏仍然具有挑战性，因为自生成的轨迹是自由形式的，正确性取决于具体任务，而且看似合理的推理过程仍可能提供不稳定或不可靠的监督。现有方法主要考察孤立的设计选择，导致其有效性、作用及相互作用尚不明确。本文提出 UniSD，一个用于系统研究自蒸馏的统一框架。UniSD 整合了针对监督可靠性、表示对齐和训练稳定性的互补机制，包括多教师一致性、EMA 教师稳定化、token 级对比学习、特征匹配和散度裁剪。在六个基准和来自三个模型家族的六个模型上，UniSD 揭示了自蒸馏何时优于静态模仿、哪些组件驱动了增益，以及这些组件在不同任务间如何相互作用。基于这些洞见，我们构建了 UniSDfull，一个整合互补组件的集成流水线，取得了最强的整体性能，相比基础模型提升 +5.4 分，相比最强基线提升 +2.8 分。大量评估表明，自蒸馏是一种实用且可引导的方法，可在不依赖更强外部教师模型的情况下实现高效的 LLM 适配。
| 评论： | 网站：此 https URL 代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.06597 [cs.CL] |
| （或 arXiv:2605.06597v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06597 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiqiao Jin [查看邮箱]
[v1]
2026年5月7日星期四 17:22:11 UTC（932 KB）
[v2]
2026年5月21日星期四 16:25:55 UTC（936 KB）
[v3]
2026年11月5日星期四 08:43:27 UTC（1,413 KB）
来源：arXiv cs.CL · arxiv.org