arXiv cs.CL· Masato Fujitake·· 12 小时前AI 评分31
EnergyCal：抑制 Muon 系列优化器在稀疏 MoE 训练中的损失尖峰
EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training
AI 导读
EnergyCal 是一种轻量规则，按路由专家有限步 Newton-Schulz 方向的归一化平方 Frobenius 范数衰减其更新，不改变谱变换、不增加持久优化器状态。
正文 · AI 翻译
摘要：稀疏混合专家（MoE）语言模型训练在使用 Muon 系列优化器时可能出现较大的损失尖峰。我们提出 EnergyCal，这是一种轻量级规则，根据路由专家有限步 Newton-Schulz 方向的归一化平方 Frobenius 范数来衰减其更新。EnergyCal 保持谱变换不变，且不增加持久优化器状态。我们在一个 4B 参数 MoE 模型上对其进行了评估。与经开发集选出的较低学习率 MuonH 配方相比，EnergyCal-MuonH 将平均阈值化损失尖峰负担降低 99.51%，并将最终几何平均困惑度降低 4.06%，吞吐量代价适中。在匹配名义学习率和权重衰减的普通 Muon 下，两个测试指数上的平均尖峰负担降低幅度平均为 95.98%，并伴随小幅端点改进。这些发现支持在评估设置中无论是否使用 Hyperball 都能实现稳定化。
| 评论： | 9 页，含附录 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37062 [cs.LG] |
| （或 arXiv:2610.37062v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37062 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Masato Fujitake [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 11:31:17 UTC（481 KB）
来源：arXiv cs.CL · arxiv.org