arXiv cs.CL· Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho·· 10 小时前AI 评分40
将 MoE 剪枝并蒸馏为稠密语言模型的系统框架
Pruning and Distilling Mixture-of-Experts into Dense Language Models
AI 导读
研究者提出首个将训练好的 MoE 模型转换为标准全稠密架构的系统框架：对专家打分、选择并分组后拼接为稠密 FFN，再用知识蒸馏从 MoE 教师模型精炼。
正文 · AI 翻译
摘要：混合专家（MoE）现已成为前沿语言模型的主流架构，但它需要将所有专家参数加载到内存中，因此不太适合内存受限的部署场景。现有压缩方法会减少专家数量，但输出仍然是具有相同根本局限的 MoE 模型。我们提出了首个将训练好的 MoE 转换为标准全稠密架构的系统性框架：对专家进行评分、选择和分组，然后拼接为稠密 FFN，并通过从 MoE 教师模型进行知识蒸馏来精炼。我们在 Qwen3-30B-A3B 上评估了 7 种评分方法、5 种分组方法和 2 种幅度缩放方法，覆盖一系列选定的专家数量，共得到 350 种配置。我们发现评分方法的选择影响最大，我们提出的多样性感知评分在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 GPT-OSS-20B 上始终优于先前方法。在参数数量匹配的受控比较中，经过约 4B token 的蒸馏后，MoE 转稠密在平均下游准确率上比稠密转稠密剪枝高出 +6.3 个百分点，训练实际耗时快 1.6 倍。
| 评论： | 44 页，8 幅图，28 张表。已被 NeurIPS 2026 接收（Oral）。 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.28207 [cs.CL] |
| （或使用 arXiv:2605.28207v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.28207 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Junhyuck Kim [查看邮箱]
[v1]
2026 年 5 月 27 日星期三 09:27:36 UTC（1,314 KB）
[v2]
2026 年 6 月 6 日星期六 13:23:43 UTC（1,396 KB）
[v3]
2026 年 11 月 10 日星期二 07:02:13 UTC（1,402 KB）
来源：arXiv cs.CL · arxiv.org