arXiv cs.AI· Jelena Markovic-Voronov, Petros Prastakos, Kayhan Behdin, Jincheng Cao, Zhipeng Wang, Shayan Mohajer Hamidi, Yuanda Xu, Zhengze Zhou, Wenhui Zhu, Rahul Mazumder·· 11 小时前AI 评分34
OptEP：面向 MoE 语言模型的 reconstruction 优化专家剪枝方法
Reconstruction-Optimized Expert Pruning for Mixture-of-Experts Language Models
AI 导读
研究者提出 OptEP，将预训练 MoE 层的训练后专家剪枝建模为子集选择问题，用可微的连续松弛直接优化专家选择变量，并对保留专家权重做轻量重建更新。
正文 · AI 翻译
摘要：混合专家（MoE）模型通过稀疏专家激活来减少计算量，但部署时仍需存储大量专家参数。我们将使用任务域校准数据的训练后专家剪枝研究为一个子集选择问题：给定一个预训练的 MoE 层，选择固定数量的专家，使其最好地重建其原始输出。精确的子集搜索是组合性的，对于每层拥有众多专家的现代 MoE 模型而言变得难以处理。我们开发了 OptEP，一种可扩展的连续松弛方法，直接优化可微的专家选择变量，随后对保留的专家权重进行轻量级的基于重建的更新。在多种 MoE 架构以及涵盖数学推理和代码生成的任务上，我们的方法优于最强的现有专家剪枝基线，在 Qwen3-30B-A3B 上绝对准确率提升高达 15.05%，在 Qwen3-235B-A22B 上提升 14.55%，在 GLM-4.5-Air 上提升 11.06%，在 Mixtral-8x7B 上提升 16.20%。在激进剪枝下改进尤为显著，表明重建驱动的专家选择和权重自适应可以在减少保留专家数量的同时，大幅保留原始模型的更多性能。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27123 [cs.LG] |
| （或 arXiv:2610.27123v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27123 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jelena Markovic-Voronov [查看电子邮件]
[v1]
2026年10月19日星期一 18:24:03 UTC（60 KB）
来源：arXiv cs.AI · arxiv.org