arXiv cs.CL· Zelin Zhao, Junyuan Shang, Tianchi Ma, Shuohuan Wang, Dianhai Yu·· 11 小时前AI 评分29
Multi-View Latent MoE：让每个路由器塑造专家计算
Multi-View Latent MoE: Letting Every Router Shape Expert Computation
AI 导读
研究者提出 Multi-View Latent MoE，用多个路由器聚合 sigmoid 分数改进专家选择，并复用路由偏好调制专家输入。在 24 层 10B-A1B 模型、708B token 训练下，九任务下游均值较基线提升 1.18 个百分点，仅 Multi-Router 即带来 0.6 个百分点增益。该方法保持激活专家数、专家 FLOPs 与 all-to-all 通信量不变。
正文 · AI 翻译
摘要：稀疏混合专家（MoE）模型通过为每个 token 激活一小部分专家来扩展参数容量。在固定的激活专家预算下，专家选择直接影响模型能力。对所有专家进行稠密评估显示，单路由器排名与专家效用评估排名之间的一致性较弱，尤其是在中间层和深层。更丰富的选择与计算信号会带来额外成本：基于专家内部激活的选择需要预先计算，而将多个完整表示分别通过同一专家处理会重复其计算。我们提出 Multi-View Latent MoE，用多个路由器改进专家选择，并在固定专家预算下复用它们的偏好来调制专家计算。其 Multi-Router 子模块聚合来自独立初始化路由器的 sigmoid 分数。这些路由器在训练过程中形成了高度差异化的专家偏好，使得被某个路由器强烈偏好或被多个路由器共同支持的专家能够被选中。Multi-View 进一步利用每个被选中专家在各路由器上的相对分数，将学习到的潜在视图混合到其输入中，从而在选择和计算中复用路由偏好。每个被选中的专家执行一次前向传播，保持激活专家数量、专家 FLOPs 和全对全通信量不变。在一个用 708B token 训练的 24 层 10B-A1B 模型上，Multi-View Latent MoE 相比基线将九项任务的下游平均分提高了 1.18 个百分点。仅 Multi-Router 就带来 0.6 个百分点的提升，并改善了路由器分数与评估专家效用之间的秩相关性，全局相对提升 8.1%，在单路由器对齐最低的层中相对提升约 58%。受控混合干预表明，模型使用的输入差异取决于专家和 token。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40577 [cs.CL] |
| （或 arXiv:2610.40577v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40577 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zelin Zhao [查看邮箱]
[v1]
2026年10月29日 星期四 17:45:12 UTC（558 KB）
[v2]
2026年11月2日 星期一 17:49:38 UTC（558 KB）
来源：arXiv cs.CL · arxiv.org