arXiv cs.AI· Zaiqian Chen, Aditya Somasundaram, Sophie Li, Sean McLeish, John Kirchenbauer, Tom Goldstein, Micah Goldblum·· 13 小时前AI 评分38
量化误差如何引发语言模型预训练中的“定时炸弹”式损失尖峰
The Role of Quantization in Loss Spikes
AI 导读
语言模型预训练中会出现仅在长时间训练后才爆发的延迟性损失尖峰，研究称之为“定时炸弹尖峰”，其前兆是 LM head 量化误差快速增大。降低数值精度会加速这类尖峰，提高精度则改善稳定性；将 LM head 上的 AdamW 换成带动量的 SGD 可抑制 logit 增长、提升长程训练稳定性。现有各类缓解方法均能降低量化误差，指向共同的数值机制。
正文 · AI 翻译
摘要：语言模型预训练中的损失尖峰可能浪费大量算力，并使原本健康的训练过程偏离正轨。这些不稳定的一个主要驱动因素是最终语言建模（LM）头中输出 logits 的增长与发散。在本工作中，我们研究了与输出 logit 增长相关的一种代价尤其高昂的不稳定形式：仅在长时间训练后才出现的延迟性、终末性发散，我们称之为定时炸弹尖峰。我们发现，在这些不稳定出现之前，LM 头中的量化误差会迅速增大，最终导致损失尖峰。关键在于，降低数值精度会加速定时炸弹尖峰，而提高精度则能改善稳定性。随后，我们提出一种简单而有效的缓解方法：将 LM 头上的 AdamW 替换为带动量的 SGD，从而抑制 logit 增长，并在长时间训练中提升稳定性。最后，我们发现文献中已有的缓解技术（以及我们自己的方法）都能降低量化误差，这表明它们的有效性背后存在共同的数值机制。总之，我们的结果将有限精度误差确定为定时炸弹尖峰的隐藏驱动因素，并表明抑制这一误差是实现稳定长时程预训练的关键。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38277 [cs.LG] |
| （或 arXiv:2610.38277v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38277 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zaiqian Chen [查看邮箱]
[v1]
2026年10月28日星期三 04:53:13 UTC（2,078 KB）
来源：arXiv cs.AI · arxiv.org