arXiv cs.AI· Bingcong Li, Hao Ma, Michael Muehlebach, Niao He, Yi Ma·· 2 天前AI 评分22
重新思考现代 MoE 中的路由探索：MirrorMoE 如何化解探索困境
Rethinking Routing Exploration in Modern Mixture-of-Experts
AI 导读
研究指出现代 MoE 架构中细粒度专家分割与共享专家之间存在"探索困境"：共享专家降低了 token 表示的多样性，削弱路由探索，而细粒度分割又因组合爆炸式扩大的路由空间更需要探索，导致其表达能力难以充分释放。为此提出的 MirrorMoE 通过 token 自适应抑制冗余专家来缩小探索空间，在不同模型规模上均稳定提升性能。
正文 · AI 翻译
摘要：专家混合（MoE）模型已成为扩展模型参数的重要方法。现代 MoE 架构日益结合两种设计选择：细粒度专家分割和共享专家。前者通过在固定激活比例下实现更多专家组合来增强表达能力，后者则引入对每个 token 都激活的专家。我们发现这些设计之间存在探索困境：共享专家会降低 token 表示的变异性，从而使路由的探索性减弱。这与细粒度专家分割因组合式扩大的路由空间而产生的更大探索需求相冲突。因此，细粒度分割所提供的额外表达能力在实践中可能无法完全实现。为此提出 MirrorMoE，通过 token 自适应地抑制不必要的专家来缩小探索空间，从而调和这一探索困境。MirrorMoE 在不同模型规模上均能持续提升性能。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用格式： | arXiv:2610.22353 [cs.LG] |
| （或使用 arXiv:2610.22353v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.22353 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Bingcong Li [查看邮箱]
[v1]
2026年10月15日星期四 17:58:02 UTC（779 KB）
来源：arXiv cs.AI · arxiv.org