重新调参后Muon缩放权重衰减优势大幅缩小

Esther Xin 发布研究，在 MAI-Base-2 协议下重新对比 Muon-SW 与恒定解耦权重衰减。共享超参数时，Muon-SW 领先 0.035 BPB，相当于 1.52 倍算力节省；但双方各自调参后，差距缩小到 0.0026 BPB（1.03 倍），约 90% 的优势消失。研究称，Muon-SW 的大部分收益来自调参差距，但仍存在小幅真实优势，且该优势随模型规模增长。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。