arXiv cs.AI· Yibang Li, Bihari Lal Pandey, Ravi Sah, Andi Han, Cyrus Mostajeran, Pratik Jawanpuria, Bamdev Mishra·· 4 小时前AI 评分26
iMuon:黎曼矩阵流形上的内在谱优化
iMuon: Intrinsic Spectral Optimization on Riemannian Matrix Manifolds
AI 导读
研究者提出 iMuon,将 Muon 优化器推广到黎曼矩阵流形,在固定秩、SPD、Stiefel 和 Grassmann 流形上给出谱范数、Frobenius 范数和核范数的闭式更新。
正文 · AI 翻译
摘要:Muon 及相关范数约束优化器现已成为大规模学习的核心,它们通过在欧几里得空间中矩阵范数球上的线性最大化 oracle(LMO)来计算更新。然而,它们无法干净地推广到流形值参数,例如低秩分解、正交约束或对称正定(SPD)矩阵。将 Muon LMO 朴素地限制到切空间会 (i) 破坏商对称性,并且 (ii) 将切空间约束与环境范数界耦合,从而阻碍闭式解。我们通过一个关键观察解决了这两个问题:每个黎曼度量都典范地将一个酉不变欧几里得范数提升为每个切空间上的内蕴范数。由此得到的内蕴 LMO 保持对称性,并且在缩放切空间上的结构条件下,可归约为标准欧几里得 LMO。在此基础上,我们引入了内蕴 Muon(iMuon),这是一个统一框架,针对固定秩、SPD、Stiefel 和 Grassmann 流形,为包括谱范数、Frobenius 范数和核范数在内的各种酉不变范数提供闭式更新。我们建立了 iMuon 的确定性和随机收敛速率,其常数仅依赖于流形维数。值得注意的是,在固定秩流形上,常数仅依赖于秩,这使得速率与因子条件数无关,并消除了先前工作所需的运行时因子重缩放。在 LLM 的 LoRA 微调、图像分类和子空间学习上的实验说明了所提方法的有效性。
| 评论: | 代码:this https URL 已被 NeurIPS 2026 接收。已更新以匹配最终版本 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2605.09238 [cs.LG] |
| (或 arXiv:2605.09238v2 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.09238 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yibang Li 南洋理工大学 [查看邮箱]
[v1]
2026年5月10日周日 00:39:13 UTC(356 KB)
[v2]
2026年11月16日周一 23:41:40 UTC(272 KB)
来源:arXiv cs.AI · arxiv.org