arXiv cs.CL· Hanqing Liu, Jianjun Cao, Yuanze Li, Zijian Zhou·· 9 天前AI 评分22
Grokking 还是 Glitching？低精度如何驱动 Slingshot 损失尖峰
Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes
AI 导读
论文证明深度网络长期无正则训练中的 Slingshot 损失尖峰源于浮点运算精度极限：训练进入高置信阶段后，正确类 logit 与其他 logit 之差超过吸收误差阈值，反向传播中正确类梯度被舍入为零，破坏各类梯度的零和约束，引发分类器层参数系统性漂移。
正文 · AI 翻译
摘要：深度神经网络在无正则化的长期训练过程中会表现出周期性的损失尖峰，这一现象被称为“弹弓机制”（Slingshot Mechanism）。现有工作通常将其归因于内在的优化动力学，但其触发机制仍不清楚。本文证明该现象是浮点运算精度限制的结果。当训练进入高置信度阶段时，正确类别的 logit 与其他 logit 之间的差值可能超过吸收误差阈值。于是在反向传播过程中，正确类别的梯度被精确舍入为零，而错误类别的梯度仍保持非零。这打破了各类别梯度之间的零和约束，并在分类器层的参数更新中引入了系统性漂移。我们证明这种漂移与特征形成正反馈回路，导致全局分类器均值和全局特征均值呈指数增长。我们将这一机制称为数值特征膨胀（Numerical Feature Inflation, NFI）。该机制解释了弹弓尖峰前范数的快速增长、随后梯度的重新出现以及由此产生的损失尖峰。我们进一步表明，NFI 并不等同于观测到的损失尖峰：在更实际的任务中，部分吸收可能不会产生可见的尖峰，但仍会打破零和约束并驱动参数范数的快速增长。我们的结果将弹弓重新解释为有限精度训练的一种数值动力学，并为训练后期的异常参数增长和 logit 发散提供了可检验的解释。
| 评论： | 29 页，13 张图；已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；优化与控制（math.OC）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.06152 [cs.LG] |
| （或 arXiv:2605.06152v4 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.06152 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Hanqing Liu [查看邮箱]
[v1]
2026 年 5 月 7 日星期四 12:45:21 UTC（893 KB）
[v2]
2026 年 5 月 12 日星期二 10:56:27 UTC（893 KB）
[v3]
2026 年 5 月 26 日星期二 10:55:47 UTC（893 KB）
[v4]
2026 年 10 月 7 日星期三 23:29:06 UTC（893 KB）
来源：arXiv cs.CL · arxiv.org