arXiv cs.AI· Yaoxiang Wang, Kai Zhang, Ruobing Xie, Lanrui Wang, Guoliang Zhao, Junhui Li, Jinsong Su·· 3 天前AI 评分24
LatentMoE：从专家几何到逐层容量分配的专家形状设计
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
AI 导读
LatentMoE 将专家计算移入低维空间，使专家的输入维度与中间宽度成为显式设计选项，并证明专家局部 Jacobian 秩受这两个维度共同约束，在固定单专家参数量下二者均衡可最大化秩上限。跨模型规模和路由粒度的形状扫描一致偏好近正方形专家；进一步用逐层内在维度（ID）指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 和通信量不变的情况下，相比逐层同构基线取得更低验证损失和更强下游性能。
正文 · AI 翻译
摘要：细粒度混合专家（MoE）模型通常通过收窄每个专家来增加专家数量，将专家形状视为路由粒度的副产品。LatentMoE 将专家计算移入低维空间，将每个专家的输入维度和中间宽度作为显式设计选择。我们表明，专家的局部雅可比秩由这两个维度共同界定，并且在每个专家参数量固定时，平衡二者可最大化秩上限。跨模型规模和路由粒度的受控形状扫描一致倾向于近方形专家。我们进一步使用逐层内在维度（ID）来指导跨深度的容量分配，在保持每层参数量、激活 FLOPs 和通信量不变的同时，协同变化专家的数量和形状。与逐层同质基线相比，我们的 ID 引导分配实现了更低验证损失和更强的下游性能。这些结果确立了专家形状和逐层分配作为 MoE 的实用设计轴。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14644 [cs.AI] |
| （或 arXiv:2610.14644v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14644 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yaoxiang Wang [查看邮箱]
[v1]
2026年10月10日星期六 06:54:36 UTC（199 KB）
来源：arXiv cs.AI · arxiv.org