arXiv cs.AI· Zhichao Wang, Michael W. Mahoney·· 1 天前AI 评分31
随机舍入下 SGD 的缩放定律：模型规模、训练时长与精度如何影响预测误差
Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding
AI 导读
一项理论研究推导了随机舍入（SR）对两层线性网络预测误差的匹配上下界，覆盖模型规模、训练时长与精度变化。仅对前向特征做舍入可保持精确算术的计算缩放，舍入反向特征则会改变该缩放；参数平均会改变哪部分计算需要更高精度。固定计算预算下，若更大模型或更长训练带来的收益超过 SR 引入的额外误差，降低精度反而能改善预测。
正文 · AI 翻译
摘要：低精度训练可减少计算量，但会引入额外的舍入误差。我们从理论上研究了当模型规模、训练时间和精度变化时，随机舍入（SR）如何影响预测风险。我们考虑一个第一层固定随机的两层线性网络，在具有幂律谱的新鲜高斯数据上通过小批量 SGD 训练。在每个 SGD 步骤中，前向和反向计算所用的特征分别独立舍入。我们为最终模型和均匀参数平均证明了预测误差的匹配上界和下界，其中学习率和精度调度在训练前选定。对于固定精度和带参数平均的恒定学习率，我们推导了最小预测误差如何随计算量下降，并确定了实现该最优计算扩展的模型规模和训练时间。仅对前向特征进行舍入可保持精确算术的计算扩展，而对反向特征进行舍入则会改变它。参数平均可以改变哪些计算需要更高精度以及何时更高精度有用。我们的结果还给出了给定精度容差所需的比特要求，并表明反向舍入如何改变学习率调度的设计。在固定计算预算下，当更大模型或更长训练带来的收益超过 SR 引入的额外误差时，较低精度可以改善预测。模型模拟说明了这些权衡，而使用 MLP 和小型 transformer 的实验考察了理论模型之外的舍入选择。
| 评论： | 67 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.41074 [cs.LG] |
| （或 arXiv:2610.41074v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41074 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhichao Wang [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 23:42:46 UTC（351 KB）
来源：arXiv cs.AI · arxiv.org