arXiv cs.CL· Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait·· 10 小时前AI 评分31
免训练 MoE 专家剪枝中的替换算子与路由语义：被剪专家被选中时该算什么
What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
AI 导读
研究在固定剪枝掩码下比较 OLMoE、DeepSeek-V2-Lite、Moonlight 三个模型的免训练专家剪枝替换算子，发现影响最大却常被隐式处理的是幸存专家的 gate 缩放：在未经 top-k 重归一化训练的 router 上，对幸存 gate 重归一化会损失 0.8-8.5 分，并反转 rerouting 与 MoNE 均值输出替换的优劣。
正文 · AI 翻译
摘要：免训练专家剪枝需要做出两个决定：移除哪些专家，以及当某层的路由器仍选择被移除的专家时该层计算什么。已发表的方法会同时改变这两者。在固定掩码的情况下，我们在 OLMoE、DeepSeek-V2-Lite 和 Moonlight 上比较了来自三个家族的替换算子，并以 Granite 作为第四个路由器，使用配对、多重性校正的检验。最大的效应来自一个通常被隐式处理的选择：幸存专家的门控缩放。在未使用 top-k 重归一化训练的路由器上，对幸存专家的门控进行重归一化（一种常见的实现选择）会损失 0.8-8.5 分，并会反转重路由是否优于 MoNE 均值输出替换的结论；在两个使用重归一化训练的路由器上，在 50% 剪枝率下训练得到的缩放更优。我们引入了 tilted novice，这是对被剪枝专家输入的一种闭式低秩映射，其秩为 0 的情形即 MoNE 的常数。在 50% 剪枝率下，它增加 1.2-1.8% 的参数，并在 OLMoE 和 Moonlight 上比常数分别提升 3.45 和 1.37 分，在不同校准抽样下保持稳定，且基本不受 4 位和 3 位量化影响。没有哪个算子占主导：训练缩放的重路由在 DeepSeek-V2-Lite 上最佳，而对每个被剪枝专家的部分复制在两个模型上与 tilted novice 在统计上无法区分。评估方式可能改变结论：在 25% 剪枝率下，MoNE 的常数保留了 92-97% 的稠密多项选择准确率，但仅保留 5-65% 的 GSM8K 和 0-17% 的代码分数，且校准领域对掩码的影响比重新采样大 4-9 倍。我们提出了一个包含五项的报告清单。
| 评论： | 56 页，8 幅图，76 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41366 [cs.LG] |
| （或 arXiv:2610.41366v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41366 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ezza Ali [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 07:31:53 UTC（219 KB）
来源：arXiv cs.CL · arxiv.org