arXiv cs.AI· Mushir Akhtar, Hazem N. Nounou, Majdi Mansouri, Mohamed N. Nounou·· 2 天前AI 评分29
Muon 何时真正胜出？一项数据、时间与调参预算配对基准测试
When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
AI 导读
在单张 A100 上，研究对比 Muon 与 AdamW 在 17.7M、33.6M 参数语言模型和 2.70M 参数视觉 Transformer 上的表现。
正文 · AI 翻译
摘要：Muon 在数据效率上的提升促使我们评估其在明确的数据、时间和调参预算下的表现。在单块 A100 GPU 上，我们将参考的单设备 Muon 实现与 AdamW 在 17.7M 和 33.6M 参数量的因果语言模型以及 2.70M 参数量的视觉 Transformer 上进行了比较。一个包含 23 个候选配置的通用开发预算选出了若干配置，并用五个匹配随机种子、完整验证轨迹、优化器步进计时以及冻结的一次性测试进行评估。在相同数据量下，Muon 将验证损失曲线下面积减少 3.25--22.44\%，并在全部 20 个主要配对中降低测试损失。在此配置下，Muon 在视觉任务上将时间归一化损失面积} 改善 19.68--22.31\%，而 AdamW 在语言任务上则优 3.38--6.96\%。完整的 Muon 优化器调用（包括辅助的 AdamW 更新）占训练时间的 56.1--69.6\%，而 AdamW 基线为 6.1--9.1\%。在受限访问这些候选池的情况下，Muon 的期望遗憾也更高。这些结果刻画的是使用参考内核的小模型；其墙钟时间排序并不能确立更大模型或优化实现之间的排名。
| 评论： | 被 NeurIPS 2026 Workshop（机器学习优化）接收 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.21555 [cs.LG] |
| （或 arXiv:2610.21555v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21555 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Mushir Akhtar [查看电子邮件]
[v1]
2026年10月15日星期四 09:15:49 UTC（302 KB）
来源：arXiv cs.AI · arxiv.org