EnergyCal抑制Muon族优化器在稀疏MoE训练中的loss尖峰

Masato Fujitake 提出一种名为 EnergyCal 的轻量规则，用于抑制 Muon 系列优化器在稀疏 MoE 训练中的 loss 尖峰。该规则按路由专家有限步 Newton-Schulz 方向的归一化平方 Frobenius 范数衰减其更新。 据作者描述，EnergyCal 不改变谱变换，也不增加持久优化器状态。报道未给出该规则在实验中抑制 loss 尖峰的具体效果数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。