arXiv cs.AI· Sungyoon Kim, Kaan Ozkara, Youngsuk Park·· 9 天前AI 评分22
用链式 LMO 优化大语言模型：TensorChain 在 Qwen3 预训练中比 Muon 省 9.6% token
Optimizing Large Language Models with Chained LMOs
AI 导读
研究者提出链式线性最小化预言机（chained LMOs）框架，将 Muon 等由多种矩阵归一化组合而成的优化器统一为 LMO 的组合，并指出许多链式方法超出标准 LMO 框架、在光滑凸目标上可能发散。
正文 · AI 翻译
摘要：Muon 激发了一个不断壮大的优化器家族，这些优化器组合了多种矩阵归一化，但这些方法仍然零散且缺乏统一视角。我们引入链式线性最小化预言机（chained LMOs），将这些方法视为 LMO 的组合。尽管它们在经验上取得了成功，但许多链式方法超出了标准 LMO 框架，并且在光滑凸目标上可能发散。为了解释为什么组合仍然有帮助，我们转向线性联想记忆，并表明在各向异性嵌入下，链式方法可以优于 Muon。在经验上，我们提出了 TensorChain，这是该框架内的一种新型优化器，它跨不同层堆叠兼容的权重矩阵，并沿其轴对三维张量进行归一化。在 Qwen3 0.6B 和 1.7B 预训练中，TensorChain 在平均 token 效率上优于所有链式基线，在匹配验证损失时相比 Muon 平均节省 9.6% 的 token。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10975 [cs.LG] |
| （或 arXiv:2610.10975v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10975 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sungyoon Kim [查看电子邮件]
[v1]
2026年10月7日星期三 22:56:55 UTC（3,151 KB）
来源：arXiv cs.AI · arxiv.org