研究者提出MuonGS优化器改进LLM预训练
热点事件持续更新
研究者提出MuonGS优化器改进LLM预训练
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Athanasios Glentis、Dawei Li、Mingyi Hong提出MuonGS优化器，用Gram-Schmidt投影移除Muon每次更新的径向分量，在不固定权重范数的情况下让权重范数最多按√t增长，从而保证累积有效学习率C_T=Ω(√T)。 该设计针对Muon优化器在预训练大语言模型时的权重范数控制问题，作者称其可在不固定权重范数的前提下实现上述增长上界与学习率下界。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
MuonGS：用松弛权重范数控制预训练 LLM报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIMuonGS：用松弛权重范数控制预训练 LLM
研究者提出 MuonGS，通过 Gram-Schmidt 投影移除 Muon 每次更新的径向分量，在不固定权重范数的情况下让权重范数最多按 √t 增长，从而保证累积有效学习率 C_T=Ω(√T)。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。