arXiv cs.CL· Marcos Hernanz·· 10 小时前AI 评分31
Muon 优化器让首个 MoE 层更难负载均衡
Muon Makes the First Mixture-of-Experts Layer Harder to Balance
AI 导读
在 55M 和 108M 激活参数模型上，用 Muon 替代 AdamW 训练 MoE 语言模型会使首个 MoE 层的路由偏置跨度平均约翻倍，其他层变化小得多。
正文 · AI 翻译
摘要：许多开放的混合专家（MoE）语言模型使用 Muon 而非 AdamW 进行训练。大多数模型通过在每个专家的路由分数上施加偏置来平衡负载，并在每一步之后调整该偏置。这些方案在 Muon 是否也应训练路由器这一点上存在分歧。在活跃参数为 55M 和 108M 的模型中，我们测量了优化器如何改变这些偏置的跨度，即一层中最大偏置与最小偏置之的差。当所有 token 都偏好同一批专家时，跨度会增大，因此它反映了一层负载均衡的难度。在按较短训练调优的学习率下，Muon 在每个随机种子下都抬高了第一个 MoE 层的跨度，平均约翻倍，而其他层的变化小得多。这一上升来自 Muon 对网络其余部分的训练，无论路由器由哪个优化器训练。在这些训练中，第一个路由器的输入共享同一方向，且在预热后不久，其最繁忙的专家平均承担了其公平份额的四到七倍。在前 3,000 步中，从这些输入中减去批次均值消除了这种过载，而损失几乎不变。在较小的模型上，将 Muon 的学习率减半消除了大部分上升，并略微改善了损失。仅将路由器切换到 AdamW 会使负载在预热期间变化更大，并略微提高损失，因此在此规模下，结果支持让路由器继续使用 Muon。
| 评论： | 35 页，5 幅图，9 张表。代码与运行记录：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37914 [cs.LG] |
| （或 arXiv:2610.37914v2 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.37914 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Marcos Hernanz [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 19:56:56 UTC（1,270 KB）
[v2]
2026 年 11 月 10 日星期二 16:36:53 UTC（1,271 KB）
来源：arXiv cs.CL · arxiv.org