arXiv cs.AI· Tian Wang, Yongding Tao, Yihong Dong, Xiaoming Wu, Ying Guo, Ge Li·· 1 天前AI 评分33
专家存在结构化冗余：面向 MoE 大语言模型的结构保持专家剪枝
Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
AI 导读
研究者发现 MoE 层专家输出存在结构化冗余，其稳定秩与熵有效秩远低于专家名义数量，据此将专家剪枝重构为结构保持的专家子集选择问题，并提出 PEEP 与 DCEP 两种剪枝方法。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上，75% 与 50% 专家保留率下，两方法在多数基准上优于 SOTA 基线，并在通用任务与数学推理任务上取得最佳平均性能。
正文 · AI 翻译
摘要：稀疏 MoE 机制显著改善了模型容量与推理效率之间的权衡。然而，实际部署仍需存储所有专家，导致大量内存开销。我们表明，MoE 层中的专家输出呈现出结构化冗余。在不同模型和任务类别中，专家输出的稳定秩和熵有效秩始终远低于名义专家数量，同时专家输出分布也表现出更少的有效模态。受这些观察启发，我们将专家剪枝重新表述为保持结构的专家子集选择问题，并通过贪心策略高效优化，而不是仅对单个专家独立评分和排序，或对专家组合进行穷举搜索。我们在统一的结构保持框架下提出两种专家剪枝方法：投影能量专家剪枝（PEEP），通过最大化加权投影能量来保留功能子空间；分布覆盖专家剪枝（DCEP），通过最小化加权覆盖误差来保留分布几何。两种方法均将路由器导出的权重作为先验，使其能够在考虑单个专家局部重要性的同时，共同保留专家之间的全局结构关系。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上的实验表明，在 75% 和 50% 的专家保留比例下，我们的方法在大多数基准上优于最先进的基线，并在通用任务和数学推理任务上始终取得最佳平均性能。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41236 [cs.AI] |
| （或此版本的 arXiv:2610.41236v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.41236 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tian Wang [查看电子邮件]
[v1]
2026年10月30日星期五 04:21:25 UTC（1,011 KB）
来源：arXiv cs.AI · arxiv.org