arXiv cs.AI· Thomas Massena (DTIPG - SNCF, IRIT), Corentin Friedrich (IRIT), Mathieu Serrurier (IRIT)·· 6 天前AI 评分32
从 SGD 到 Muon：基于 Schatten-p 范数的自适应优化
From SGD to Muon: Adaptive Optimization via Schatten-p Norms
AI 导读
研究者提出一种数据驱动的准则，可为神经网络各层动态选择代理最优的更新 LMO 几何，其设计空间从 SGD 插值到 Muon，并可通过参数级预条件恢复 SGD、Muon、Adam 和 MuAdam 作为特定极值。该方法在高度优化的基线上仅带来约 3% 的运行时开销，在三种训练场景中性能超越或持平 Muon 与 AdamW 中的最优者。
正文 · AI 翻译
摘要：现代优化器（如 Muon）对其更新施加矩阵级几何约束。这些矩阵级约束可以统一在线性最小化预言机（LMO）理论之下。然而，当前所有方法都为更新规则施加固定的 LMO 几何结构，这些结构要么由设计选择，要么凭经验选取，根据问题的几何结构来看未必最优。我们提出了一种新颖且高效的数据驱动准则，用于在单个深度神经网络层上动态选择代理最优的更新 LMO 几何结构。该准则通过单步随机特征回归代理模型，从梯度和激活统计量中以闭式形式推导得出，能够在一个从 SGD 到 Muon 更新的设计空间中导航。此外，引入逐参数预条件使我们的框架能够将 SGD、Muon、Adam 和 MuAdam 作为特定极值恢复出来。为使这种自适应方法具有可扩展性，我们将其与高效的计算策略相结合，在高度优化的基线上仅产生约 3% 的运行时开销。作为概念验证，我们展示了这种数据驱动的优化器在三种不同训练场景下，其性能优于或与 Muon 和 AdamW 中表现最佳的优化器相当。最终，这项工作提供了证据，表明 LMO 几何结构可以成功且高效地从运行时数据中自适应调整，为超越静态几何结构的优化器设计开辟了新途径。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.19781 [cs.AI] |
| （或 arXiv:2605.19781v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.19781 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 神经信息处理系统大会，2026 年 12 月，澳大利亚悉尼 |
提交历史
来自：Thomas Massena [查看电子邮件] [通过 CCSD 代理]
[v1]
2026 年 5 月 19 日星期二 12:47:41 UTC（3,788 KB）
[v2]
2026 年 10 月 9 日星期五 11:47:28 UTC（3,310 KB）
来源：arXiv cs.AI · arxiv.org