arXiv cs.CL· Esther Xin·· 10 小时前AI 评分31
先调好基线：Muon 缩放权重衰减的大部分收益来自调参差距，但其小幅真实优势随模型规模增长
Tune the Baseline First: Most of Muon's Scaled Weight Decay Gain Is a Tuning Gap, but Its Small Real Advantage Grows With Model Size
AI 导读
研究在 MAI-Base-2 协议下重新对比 Muon-SW 与恒定解耦权重衰减，发现共享超参时 Muon-SW 领先 0.035 BPB（1.52x 算力节省），双方各自调参后差距仅 0.0026 BPB（1.03x），约 90% 优势消失。
正文 · AI 翻译
摘要：据报道，Muon 的缩放权重衰减（Muon-SW）在训练语言模型时比恒定解耦权重衰减更高效，但此类比较通常对两种方法复用同一套学习率（LR）和权重衰减（WD）设置。我们在 MAI-Base-2 协议下重新进行了比较：对每种方法，通过其乘积联合调优 LR 和 WD，在源缩放的专家混合（MoE）缩放阶梯（1.9M 至 15M 活跃参数）上进行，该阶梯在各规模间保持每个活跃参数的 token 数和数据重复次数固定。我们发现：（1）大部分增益来自调优差距。在共享设置下，Muon-SW 以每字节 0.035 比特（BPB）胜出，相当于 1.52 倍计算节省；在两种方法均调优后，差距为 0.0026 BPB（95% CI [0.0018, 0.0034]），相当于 1.03 倍节省，因此约 90% 的优势消失。（2）剩余的小优势是真实的：在最小规模下，四个配对种子在调优设置下均支持 Muon-SW。（3）该优势随模型规模增长：在 8 倍的活跃参数范围内，调优后的差距从 0.0036 升至 0.0051 BPB，而未调优的差距从 0.035 缩小至 0.024，因此存活份额从约 10% 升至 21%。（4）最佳权重衰减随规模变化：两种方法的最优 LRWD 乘积均增长，Muon-SW 增长更快（比率 1.40 至 1.91），而在两个最小规模上拟合的规律对第三个规模高估 1.3-1.5 倍，代价高达 0.002 BPB。整个研究在单块 NVIDIA T4 GPU 上运行；我们发布了代码和所有运行结果。
| 评论： | 9 页，8 图，代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2611.02529 [cs.CL] |
| （或 arXiv:2611.02529v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02529 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Esther Xin [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 04:59:08 UTC（311 KB）
来源：arXiv cs.CL · arxiv.org