arXiv cs.AI· Ali Janati, Kaoutar El Maghraoui, Chengke Zou, Xinyi Luo, Wenyuan Shen·· 3 天前AI 评分22
轻量微调下的路由器敏感度可识别 MoE 模型中可剪枝专家
Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models
AI 导读
研究发现，仅用 LoRA 微调路由器（训练 0.002% 参数）即可通过路由器权重变化幅度识别 MoE 模型中可剪枝的专家。
正文 · AI 翻译
摘要：混合专家（MoE）模型将参数量与每 token 计算量解耦，但部署时仍需将所有专家驻留在内存中。近期理论表明，在微调过程中路由器权重变化最小的专家可以被剪枝，且能保证精度不受损，但该保证假设进行全量微调。我们证明，该信号可以通过一次简短的高效参数适配来激发。我们用轻量适配器进行微调，根据诱导的路由器变化对专家排序，并一次性剪除变化最小的专家。在 Mixtral-8$\times$7B-Instruct 上，仅路由器 LoRA 训练了 0.002% 的参数，在移除一半专家的情况下仍保留 27.54% 的 MMLU-Pro 准确率，而幅度剪枝和随机剪枝约为 16%。信号质量随适配器规模单调提升，达到 28.76%，并随着适配扩展到路由器之外而下降。在相同的预算下，IA3 达到 28.04%，而 Houlsby 达到 25.39%。该准则可迁移到为数学推理微调的 Qwen1.5-MoE，在移除一半专家的情况下，在十一个基准上平均准确率保留 49.7%。结构化剪枝将内存减少 49%，每 token 延迟降低 37%。因此，轻量级路由器敏感性使具有可证明动机、以任务为条件的专家剪枝在大规模下变得实用。
| 评论： | 26 页，8 张图，12 张表。被 AXIOM: Foundations of Efficient Deep Learning, NeurIPS 2026 接收的最终版。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.07890 [cs.LG] |
| （或 arXiv:2608.07890v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.07890 arXiv 颁发的 DOI 通过 DataCite |
提交历史
发件人：Ali Janati [查看电子邮件]
[v1]
2026 年 8 月 8 日星期六 03:36:41 UTC（274 KB）
[v2]
2026 年 9 月 30 日星期三 17:50:32 UTC（436 KB）
[v3]
2026 年 10 月 10 日星期六 05:12:04 UTC（436 KB）
来源：arXiv cs.AI · arxiv.org