arXiv cs.AI· Aditya Somasundaram, Charles Guille-Escuret, Alexander Moreno, Zhengzhong Liu, Eric Xing·· 3 天前AI 评分22
用 Hilbert 几何统一 Muon 在 softmax 极限下的优化方法
Taming Softmax at the Limits of Muon: A Unified Approach through Hilbert Geometry
AI 导读
针对 Muon 以线性层输出的 RMS 变化近似整个模块、在 softmax 上失真的问题，研究者提出用 Hilbert 距离作为约束输出分布变化的自然度量。该距离可界定交叉熵损失变化并限制概率重分配，在 softmax 下表现为预激活扰动的变差半范数，从而把概率约束转为参数约束。
正文 · AI 翻译
摘要：Muon 通过线性层输出的 RMS 移动来控制权重更新。这隐含地将线性输出视为整个模块（包括其后的非线性部分）的代理。对于 softmax，这种代理可能具有误导性，因为激活值的 RMS 偏移无法忠实衡量输出分布的变化。我们提出 Hilbert 距离作为约束这些输出分布变化的自然度量。Hilbert 距离可约束交叉熵损失的变化并限制概率重分布。对于 softmax，它表现为预激活扰动的变差半范数，从而使概率约束可以表达为参数约束。用 Hilbert 距离约束来表述最速下降问题，将最近提出的两种方法纳入统一的数学框架。对于 LM head，求解所得直径约束问题的逐行近似，引导我们得到 RowNorm \citep{pethick2025trainingdeeplearningmodels}。对于缩放点积注意力，同样的原理产生了 Compositional Muon \citep{keigwin2026compositional} 所依据的一阶 query--key 最速下降问题。这些联系促使我们将 Hilbert 距离用作 softmax 模块中优化器设计的指导原则。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17588 [cs.LG] |
| （或 arXiv:2610.17588v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17588 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Aditya Somasundaram [查看电子邮件]
[v1]
2026年10月13日星期二 02:07:50 UTC（189 KB）
来源：arXiv cs.AI · arxiv.org