arXiv cs.AI· Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng, Ming Zhang, Ning Ding, Qipeng Guo, Youbang Sun, Biqing Qi, Bowen Zhou·· 11 小时前AI 评分26
Meta Expert：面向存储与检索高效 MoE 的跨层专家共享
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
AI 导读
研究提出跨层共享的 Meta Expert，替代主流分层架构中彼此独立但内容高度相似的 Local Expert。在激活专家数量与专家粒度固定时，该模型仅用 70–80% 的专家即可达到 Vanilla MoE 的性能，并表现出更低的参数冗余、更低的交叉熵损失和更高的下游任务准确率。理论分析显示 Meta Expert 还能为隐藏状态提供更灵活的残差路径，提升信息检索效率。
正文 · AI 翻译
作者：Ermo Hua、Xiangyu Hong、Baiting Wu、Che Jiang、Haozheng Hou、Yicheng Gu、Hanjing Wang、Qirui Zeng、Ming Zhang、Ning Ding、Qipeng Guo、Youbang Sun、Biqing Qi、Bowen Zhou
摘要：随着模型参数规模扩大，稀疏激活的混合专家（MoE）方法已成为模型扩展的关键。然而，当前主流模型采用分层架构，不同层中的专家虽然在拓扑上相互独立，但其存储内容存在显著相似性和冗余。与现有主流模型中分层排列的\textbf{局部专家}相比，我们假设层间共享的\textbf{元专家}具有更大潜力。为此，我们对局部专家和元专家进行了多维度的实证比较，发现采用元专家的模型具有更低的参数冗余，同时交叉熵损失更低、下游任务准确率更高。在激活数量和专家粒度保持固定的情况下，\textbf{我们的模型仅使用70--80\%的专家即可达到Vanilla MoE的性能}，显著提升了模型的扩展潜力。除了消除专家间的层间冗余并提高信息存储效率外，我们的理论分析进一步表明，与局部专家相比，元专家为隐藏状态提供了更灵活的残差路径，从而提高了信息检索效率。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27598 [cs.AI] |
| （或使用 arXiv:2610.27598v1 [cs.AI]查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.27598 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ermo Hua [查看邮箱]
[v1]
2026年10月20日星期二 04:05:56 UTC（254 KB）
来源：arXiv cs.AI · arxiv.org