arXiv cs.AI· Ao Xu·· 2 天前AI 评分22
Muon 何时最优？径向脆弱性与 Minimax 几何
When Is Muon Optimal? Radial Fragility and Minimax Geometry
AI 导读
研究将 Isotropic Curvature Model（ICM）的固定输入半径替换为一般径向律，提出 RR-ICM 与 Polar-Factor Admissibility Set，证明所有非标量可行响应均来自与曲率拐点对齐的径向原子，任何无原子径向律都呈现零容量刚性。
正文 · AI 翻译
摘要：Muon 用近似极因子替代矩阵梯度，并在神经网络训练中展现出强大的实证性能。各向同性曲率模型（ICM）通过探究梯度正交化何时能最小化单步局部损失代理，为这一更新提供了基于曲率的解释。我们研究了当 ICM 的固定输入半径被一般径向律替代时，这一解释的稳定性。我们引入了随机半径各向同性曲率模型（RR-ICM）和极因子容许集，后者将精确缩放极最优性编码为关于梯度正极因子的几何条件。我们推导出该集合在任意径向律下的精确刻画，并证明所有非标量容许响应均源自与曲率拐点对齐的径向原子。因此，每个无原子径向律都表现出零容量刚性：精确缩放极最优性仅在梯度本身已是缩放列等距时才有可能。为将基于曲率的框架与 Muon 已有的谱几何联系起来，我们通过将方向平均替换为球面上概率律的最坏情况优化，引入了极小极大 RR-ICM。我们证明每个非零全局极小值点都位于梯度的极射线上，而其尺度由一个一维凸问题确定。相应的容许几何是一个半正定迹板，与 RR-ICM 的球面环带几何形成鲜明对比。这些结果共同揭示了平均曲率解释的径向脆弱性，并为 Muon 的极方向提供了一种新的极小极大变分刻画。
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21549 [stat.ML] |
| （或 arXiv:2610.21549v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21549 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ao Xu [查看电子邮件]
[v1]
2026年10月15日星期四 09:13:19 UTC（314 KB）
来源：arXiv cs.AI · arxiv.org