低精度 Transformer 推理该用随机舍入还是就近舍入？基于小型 GPT-2 的可变精度仿真研究

作者：Yohan Chatelain (1)，Pablo de Oliveira Castro (2)（(1) Krembil Centre for Neuroinformatics, CAMH, Toronto, Canada，(2) Universite Paris-Saclay, UVSQ, LI-PaRAD, Versailles, France）

查看 PDF HTML（实验性）

摘要：低精度 transformer 推理应使用随机舍入（SR）还是就近舍入（RN）？答案取决于你观察网络中的哪个位置。我们通过固定数值格式、仅改变各个运算位置的舍入规则来分离这一效应。为了能够在任意选择的精度下进行实验，我们通过可变精度随机舍入（VPSR）算法将 PRISM 向量化舍入库扩展到任意虚拟精度，并证明舍入决策在硬件浮点中可被精确求值。
我们提出两种分析，为这一位置层面的权衡提供互补的洞见。首先，线性投影的概率前向误差界表明，SR 的误差包络随归约长度 $n$ 以 $O(\sqrt{n} u)$ 增长，而 RN 为 $O(n u)$，这一差距在低精度下迅速扩大，并在长多层感知机（MLP）下投影中最为显著。其次，将输出 softmax 处期望交叉熵损失变化的二阶分解为有符号漂移、漂移曲率和 Fisher 加权方差惩罚，揭示了这两个位置为何表现相反：MLP 噪声主要是均匀的 logit 偏移，softmax 对其不变，因此 SR 的方差在很大程度上被抵消；而 head 噪声在整个词表上非均匀，因此并非如此。
在 $t=6$ 有效位数的 DistilGPT-2 上，观测结果与理论相符：MLP 中的 SR 将困惑度提高到全精度参考的 1.15 倍，而 RN 为 2.21 倍。在语言模型 head 处，顺序反转，因为 SR 引入了非均匀方差，而确定性 RN 不携带任何方差。在混合精度配置中（MLP 输出为 $t=6$），将 SR 分配给 MLP、RN 分配给 head，使困惑度达到全精度参考的 1.10 倍以内，相比匹配位数的 RN 降低了 28%。

提交历史

来自：Yohan Chatelain [查看电子邮件]
[v1] 2026 年 10 月 1 日星期四 15:40:48 UTC（413 KB）
[v2] 2026 年 10 月 8 日星期四 15:08:44 UTC（189 KB）