arXiv cs.AI· Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang·· 14 小时前AI 评分52
研究系统对比十种预训练优化器：Muon、Soap 加速比随模型规模收窄
Fantastic Pretraining Optimizers and Where to Find Them
AI 导读
论文对十种深度学习优化器在 0.1B-1.2B 参数、1-8 倍 Chinchilla 最优数据模型比下做了系统对比，指出超参数调优不平等和评测设置有限是此前比较失真的两个原因。
正文 · AI 翻译
摘要：AdamW 长期以来一直是语言模型预训练中的主导优化器，尽管有大量研究声称替代优化器可带来 1.4 至 2 倍的加速。我们认为，两项方法学上的缺陷掩盖了公平比较并阻碍了实际应用：(i) 超参数调优不平等，以及 (ii) 评估设置有限或具有误导性。为解决这两个问题，我们对十种深度学习优化器进行了系统性研究，覆盖四种模型规模（0.1B–1.2B 参数）以及数据与模型之比（Chinchilla 最优值的 1–8 倍）。我们发现，公平且信息丰富的比较需要在训练结束时，跨一系列模型规模和数据与模型之比进行严格的超参数调优与评估。首先，某个优化器的最优超参数对另一个优化器而言可能是次优的，因此盲目迁移超参数并不公平。其次，许多被提出的优化器相对于调优良好的基线，其实际加速比低于所声称的水平，并且随模型规模增大而下降，在 1.2B 参数模型上仅为 1.1 倍。第三，在达到目标训练预算之前比较中间检查点可能具有误导性，因为两个优化器之间的排名可能在学习率衰减过程中发生反转。通过我们的深入研究，我们发现所有最快的优化器（如 Muon 和 Soap）都使用矩阵作为预条件器——即用矩阵而非逐元素标量乘以梯度。然而，基于矩阵的优化器的加速比与模型规模成反比，从 0.1B 参数模型上相对 AdamW 的 1.4 倍，下降到 1.2B 参数模型上仅 1.1 倍。
| 评论： | 108 页，8 幅图，可复现运行见 此 https URL |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；机器学习 (stat.ML) |
| 引用为： | arXiv:2509.02046 [cs.LG] |
| （或 arXiv:2509.02046v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.02046 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Kaiyue Wen [查看邮箱]
[v1]
2025 年 9 月 2 日星期二 07:43:22 UTC（701 KB）
[v2]
2025 年 9 月 4 日星期四 19:22:04 UTC（707 KB）
[v3]
2026 年 10 月 25 日星期日 04:22:04 UTC（707 KB）
来源：arXiv cs.AI · arxiv.org