arXiv cs.AI· Athanasios Glentis, Dawei Li, Mingyi Hong·· 12 小时前AI 评分29
MuonGS：用松弛权重范数控制预训练 LLM
MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
AI 导读
研究者提出 MuonGS，通过 Gram-Schmidt 投影移除 Muon 每次更新的径向分量，在不固定权重范数的情况下让权重范数最多按 √t 增长，从而保证累积有效学习率 C_T=Ω(√T)。
正文 · AI 翻译
摘要：权重衰减和显式权重范数约束可提升语言模型预训练中的优化器性能，但对于这类控制为何有效以及需要多少控制，目前仍缺乏统一的理解。我们使用\emph{累积有效学习率} $C_T=\sum_{t<T}\eta_t/\|W_t\|_F$ 分析 Muon 在整个训练轨迹中的范数控制，其中 $\eta_t$ 为名义学习率，$\eta_t/\|W_t\|_F$ 为相对于权重范数的有效学习率。对于有界更新方向，任意训练区间上的累积量可界定相对权重位移。我们表明，原始 Muon 只能实现对数级累积，这可能限制探索，并有助于解释其经验进展较慢的原因；而在所述条件下，MuonW 和 MuonH 至少保证线性累积。超越有界范数控制，我们表明足够缓慢的范数增长可保证比对数最坏情况更快的累积，从而为限制更少的优化器设计开辟了空间。
基于这一洞见，我们提出 MuonGS，它使用 Gram--Schmidt（GS）投影去除每个 Muon 更新的径向分量，而不固定权重范数。在有界更新方向和恒定名义学习率下，我们证明权重范数在 $t$ 步后至多与 $\sqrt{t}$ 成正比增长。因此，MuonGS 保证 $C_T=\Omega(\sqrt{T})$，即使在训练后期也能保持累积。此外，对于光滑的尺度不变目标，我们建立了其 $O(T^{-1/2})$ 平稳性保证。在使用 160M 和 400M 参数稠密模型以及 135M 激活、1B 总参数 MoE 模型的预训练实验中，MuonGS 在长训练周期下取得了比 MuonH 更低验证困惑度。特别地，对于稠密模型，在匹配验证损失时，其相对于 MuonH 的估计等效 token 加速比最高约为 $15\%$。
| 评论： | 21 页，9 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2610.37647 [cs.LG] |
| （或 arXiv:2610.37647v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37647 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dawei Li [查看邮箱]
[v1]
2026年10月27日星期二 17:56:40 UTC（2,308 KB）
来源：arXiv cs.AI · arxiv.org