arXiv cs.AI· Ziqing Wen, Zhouyang Liu, Jiahuan Wang, Ping Luo, Junlin Zeng, Li Shen, Dongsheng Li, Tao Sun·· 11 小时前AI 评分20
MoLS：面向大语言模型的 SNR 引导模块级学习率校准
MoLS: SNR-Guided Module-Wise Learning-Rate Calibration for Large Language Models
AI 导读
研究者提出 MoLS，一种基于梯度信噪比（SNR）的模块级学习率校准方法，用一次性校准替代人工倍数搜索。MoLS 在初始适应期后估计各模块 SNR，按逆平方根缩放确定相对学习率倍数，并在 warmup 阶段平滑引入后保持固定。在大语言模型预训练与微调实验中，MoLS 降低了困惑度并提升下游准确率，性能接近精细调优的模块专属学习率，且计算开销极小。
正文 · AI 翻译
摘要：大型语言模型（LLM）包含功能上不同的模块，其梯度统计量具有异质性。尽管 Adam(W) 在参数级别自适应更新，但在各模块之间选择相对学习率往往依赖昂贵的人工调参。我们通过梯度信噪比（SNR）研究这一问题。我们的分析识别出模块间 SNR 差异的结构性来源，并将 SNR 与 Adam 归一化平均梯度分量的衰减联系起来。基于这些发现，我们提出 \textbf{Module-wise Learning Rate Scaling via SNR（\name）}，一种以一次性校准替代人工乘数搜索的轻量级方法。MoLS 在初始适应期后估计模块级 SNR，并使用平方根倒数缩放来确定相对学习率乘数。这些乘数在预热阶段平滑引入，随后保持固定，而全局学习率调度继续进行。我们的理论结果量化了校准的效果及其对估计误差和相对 SNR 漂移的敏感性。在 LLM 预训练和微调上的大量实验表明，MoLS 以极小的计算开销降低了困惑度并提升了下游准确率。它达到了与精心调优的模块特定学习率相当的性能，并可与内存高效优化器和参数高效微调集成。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.05794 [cs.LG] |
| （或 arXiv:2605.05794v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.05794 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ziqing Wen [查看邮箱]
[v1]
2026年5月7日星期四 07:32:27 UTC（683 KB）
[v2]
2026年10月23日星期五 07:50:02 UTC（681 KB）
来源：arXiv cs.AI · arxiv.org