arXiv cs.AI· Jihwan Kim, Dogyoon Song, Chulhee Yun·· 9 天前AI 评分29
从几何到泛化：行归一化为何能胜过 Adam 和 Muon
From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon
AI 导读
研究表明，在高维多分类任务中，行归一化（row-wise normalization）的总体准确率严格高于全批量 Adam 和精确 SVD Muon。其优势源于行归一化的类间欧氏几何能渐近保留总体决策边界方向，而 Adam 的坐标几何与 Muon 的谱几何会引入不可忽略的扭曲。该优势在幂律谱、强各向异性噪声下依然成立，合成实验与语言模型末层实验均予支持。
正文 · AI 翻译
摘要：不同的优化器可以拟合相同的训练数据，却选择出几何结构差异显著的分分类器，但这种差异是否可证明地影响总体性能仍不清楚。我们证明，在高维多分类中，逐行归一化能够取得严格高于全批量 Adam（随机重排 Adam 的代理）以及精确 SVD Muon 的总体准确率。在各向同性高斯云数据模型下，这一优势之所以出现，是因为逐行归一化的按类欧几里得几何渐近地保留了总体决策边界方向，而 Adam 的逐坐标几何和 Muon 的谱几何则引入了非消失的畸变。超出各向同性情形，该优势在类均值与测试噪声协方差方向相互独立时，对类均值的全批量训练仍然成立。对于类均值指数小于 1 的幂律谱，即使测试噪声高度各向异性，该优势也成立。当两个协方差均为对角且足够接近时，相对于 Adam 的优势可能反转，而对两者施加相同的随机旋转则可通过仅改变它们与 Adam 坐标轴的对齐方式恢复该优势。合成实验和语言模型最后一层实验支持了所预测的优势。
| 评论： | 90 页，9 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.11309 [cs.LG] |
| （或 arXiv:2610.11309v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11309 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jihwan Kim [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 06:15:13 UTC（587 KB）
来源：arXiv cs.AI · arxiv.org