跳到正文
arXiv cs.CL· Md Rifat Arefin, Ravid Shwartz-Ziv, Ernie Chang, Chinnadhurai Sankar, Rylan Conway, Aristide Baratin, Irina Rish, Adithya Sagar, Patrick Huber·· 2 天前AI 评分31

Muon 预训练中临时权重衰减的延迟效应研究

Delayed Effects of Temporary Weight Decay in Muon Pretraining

AI 导读

在 Muon 训练的 162M 至 3.4B 参数 decoder-only Transformer 上,临时权重衰减窗口结束后验证损失可能先升后降。162M 选定的调度迁移到 1.4B 后,移除时比无衰减差 0.26 nats,训练进行到 73% 才反超,最终好 0.028 nats。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:一项临时优化干预在结束时可能增加验证损失,但在最终训练预算下却会降低验证损失。我们通过在 Muon 训练的仅解码器 Transformer(参数量分别为 162M、405M、1.4B 和 3.4B)中使用临时权重衰减来证明这一点。对于参数量不超过 1.4B 的模型,将固定时长的衰减窗口从训练早期移至后期,会逆转其最终效果。在 162M 规模下,即使总收缩量大致相当,改变窗口时长也会改变最终损失。最引人注目的是,一个在 162M 规模下选定、未经重新调参便迁移到 1.4B 的调度方案,在移除时比不进行衰减差 0.26 nats,仅在训练进行到 73% 后才反超,最终以 0.028 nats 的优势胜出,同时也优于最佳采样的恒定衰减基线。早期衰减会留下持续的权重范数亏空,这使得干预结束后相对步长保持较大。一个近似的范数动态递推关系捕捉了这些相对步长的缓慢收敛,而对测得轨迹进行固定范数重放,则再现了性能排序和相似的损失差异。在 162M 和 405M 规模下,范数重置实验表明,衰减窗口结束时较小的权重范数解释了大部分最终损失改善。另一项独立的 Gram 干预表现出相关的移除后范数和相对步长动态。这些结果表明,临时优化调度在移除后很久仍可能产生延迟效应,因此应在预期的最终训练预算下进行评估,而不仅仅是在移除时评估。
主题: 机器学习(cs.LG);计算与语言(cs.CL)
引用为: arXiv:2611.17876 [cs.LG]
  (或 arXiv:2611.17876v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.17876

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Md Rifat Arefin [查看电子邮件]
[v1] 2026年11月13日星期五 08:05:19 UTC(450 KB)

来源:arXiv cs.CL · arxiv.org