arXiv cs.AI· Mansour Zoubeirou a Mayaki·· 12 小时前AI 评分31
MoE Transformer 的泛化与缩放定律：ICML 2026 论文提出理论框架
Generalization and Scaling Laws for Mixture-of-Experts Transformers
AI 导读
一篇 ICML 2026 论文为 Mixture-of-Experts（MoE）Transformer 建立了泛化与缩放理论，将每输入的活跃容量与路由组合数分离。
正文 · AI 翻译
摘要：我们提出了一种关于混合专家（MoE）Transformer 的泛化与缩放理论，该理论清晰地将每个输入的\emph{活跃}容量与路由组合区分开来。通过对固定路由模式进行条件化并在这些模式上取并集界，我们推导出一个 sup-范数覆盖数界，其度量熵随活跃参数预算缩放，并产生 MoE 特有的路由开销。结合针对平方损失的标准 ERM 分析，在 $d$ 维流形数据模型和 $C^\beta$ 目标下，我们得到了一个泛化界，表明在适当考虑活跃参数后，近似与估计之间的权衡与稠密网络相同。我们进一步证明了 MoE 架构的构造性近似定理，表明在近似构造下，误差可以通过扩展活跃容量或增加专家数量来降低，具体取决于主导瓶颈。基于这些结果，我们推导出关于模型规模、数据规模和计算最优权衡的神经缩放定律。总体而言，我们的结果为推理 MoE 缩放提供了一个透明的统计参考点，阐明了哪些行为由最坏情况理论所保证，哪些必须源自数据相关的路由结构或优化动态。
| 评论： | 发表于 ICML 2026 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；统计理论 (math.ST)；机器学习 (stat.ML) |
| 引用为： | arXiv:2604.09175 [cs.LG] |
| （或 arXiv:2604.09175v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2604.09175 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proc. Mach. Learn. Res. 306:87097-87134, 2026 (ICML 2026) |
提交历史
来自：Mansour Zoubeirou A Mayaki [查看邮箱]
[v1]
2026年4月10日星期五 09:59:48 UTC (1,086 KB)
[v2]
2026年10月21日星期三 13:26:20 UTC (1,086 KB)
来源：arXiv cs.AI · arxiv.org