arXiv cs.CL· Yifan Yang, Hanling Yi, Dongquan Yang, Feng Lin, Rong Xiao, Aijun Li, Xiaotian Yu·· 12 小时前AI 评分34
SPARE：用路由熵分配稀疏度的高效 MoE 专家剪枝方法
SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs
AI 导读
SPARE 是一种无需训练、与选择器无关的 MoE 专家剪枝方法，通过校准数据上 token 归一化 Top-K 门控权重的路由熵，决定每层剪掉多少专家，路由越分散的层剪得越激进。
正文 · AI 翻译
摘要：混合专家（MoE）架构能够高效地扩展模型容量，但其庞大的内存占用对部署构成了重大障碍。专家剪枝可以降低这一占用，但大多数方法关注的是移除哪些专家，并对每一层进行同等剪枝。我们提出 SPARE（Sparsity Allocation via Routing Entropy，基于路由熵的稀疏度分配），这是一种无需训练、与选择器无关的方法，它利用路由熵来决定从每一层移除多少专家；路由熵是校准数据上 token 归一化 Top-K 门控权重的熵。当一个 token 的门控权重分布较为均匀时，移除一个活跃专家所丢弃的信息很少，因此 SPARE 对路由更分散的层进行更激进的剪枝。随机剪枝下的扰动界形式化了这一直觉，而使用固定选择器进行的受控干预将集中路由与更大的输出变化联系起来。在相同选择器和预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上相比均匀分配提升了平均准确率，尤其是在高剪枝率下。在 50% 专家剪枝时，它将 Qwen3-30B-A3B 的八任务平均值从 57.2% 提升至 63.8%，并将 DeepSeek-R1 的数学、代码和科学平均值从 80.1 提升至 82.8。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29662 [cs.LG] |
| （或 arXiv:2610.29662v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29662 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Yang [查看邮箱]
[v1]
2026年10月21日星期三 12:40:00 UTC（6,337 KB）
来源：arXiv cs.CL · arxiv.org