arXiv cs.AI· Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Chao-Hsuan Liu, Yaoming Li, Tong Yang·· 3 天前AI 评分23
ConMoE：将 MoE 压缩视为专家选择与功能分配
ConMoE: MoE Compression as Expert Selection and Functional Assignment
AI 导读
ConMoE 把 MoE 专家压缩拆成"构建专家池"和"分配原专家负载"两步，并证明专家池固定后分配仍可单独优化。它用 Anchor Coverage 构建紧凑专家池，再以 router 条件化的功能目标优化分配，仅需无标注校准输入且冻结 router 与专家权重。
正文 · AI 翻译
摘要：稀疏专家混合（MoE）模型通过稀疏激活来扩展模型容量，但在 GPU 内存中存储其全部参数仍然代价高昂。现有的专家压缩方法通过剪枝、合并或替换来解决这一问题，通常将专家池的构建与路由工作负载的分配耦合在一起。在这项工作中，我们将专家压缩形式化为两个决策——构建专家池并将原始专家的工作负载分配到该池——并表明在池固定后可以对分配进行优化。基于这一形式化，我们提出了 ConMoE，它使用 Anchor Coverage 构建紧凑的池，并通过由层重建界导出的、以路由器为条件的功能目标来优化分配，仅将参数接近性视为一种代理。ConMoE 使用无标签校准输入，并保持路由器和专家权重冻结。在池固定的情况下，功能分配在 50% 和 75% 专家保留率下分别将宏准确率提高了 1.82 和 0.35 个百分点，并且也改善了由其他选择器构建的池。在跨三种 MoE 架构和六个零样本基准的任务特定校准下，ConMoE 在两种比率下均取得了所比较方法中最高的宏平均。在 50% 专家保留率下，ConMoE 在我们的生成工作负载上相对于未压缩模型将峰值 GPU 内存降低了 29.6-48.4%。这些结果确立了专家分配作为 MoE 压缩的一个独立优化轴。
| 评论： | 23 页，6 幅图，24 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.29350 [cs.AI] |
| （或使用 arXiv:2605.29350v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.29350 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yilun Yao [查看电子邮件]
[v1]
2026 年 5 月 28 日星期四 04:44:22 UTC（324 KB）
[v2]
2026 年 10 月 12 日星期一 16:33:49 UTC（232 KB）
来源：arXiv cs.AI · arxiv.org