arXiv cs.AI· Tianhao Guo·· 3 天前AI 评分22
逐层量化中的继承误差补偿何时有效？均方保证及其边界
When Does Compensating Inherited Quantization Error Help? Mean-Square Guarantees for Layer-Wise Quantization and Their Limits
AI 导读
研究追问逐层训练后量化中，各层补偿前层继承误差在何种假设下能保证网络输出误差不增大。对任意深度线性网络，在校准 Gram 矩阵可逆、每层舍入误差条件均值为零且两种方案共享确定性二阶矩映射时，强度固定在 [0,1] 的补偿可给出不劣于无补偿的均方输出误差。
正文 · AI 翻译
摘要：逐层训练后量化方法让每一层补偿从更早层继承的量化误差。我们追问：在什么假设下，这种补偿能保证网络输出误差不大于不补偿时的误差。对于任意深度的线性网络，在所需校准 Gram 矩阵可逆的情况下，若每一层的舍入误差具有零条件均值，且两种方案共享同一个确定性二阶矩映射（如在无界网格上施加减法抖动时那样），则预先固定的强度在 $[0,1]$ 内的补偿给出的均方输出误差不大于不补偿，且每种方案都沿各自的轨迹进行。精确增益将直接消除的误差与后续舍入噪声激励减少所消除的误差分离开来。在此设定之外，该比较可能失效。对于修正线性激活，它会因两个独立原因而失效：噪声改变激活状态；并且，即使没有状态改变，校正也会将误差从单元处于非激活状态的样本转移到单元处于激活状态的样本。对于稳定激活，校准投影与激活模式之间的交换子给出了超出量的界。对于有界码本，即使是没有过载的唯一精确逐层最小化器，也可能给出更大的输出误差。对于固定舍入误差，它已经对两个标量线性层失效，从而反驳了一项已发表的普适保证。一个精确的残差恒等式给出了关于公共层输入的充要条件。所有这些比较都保持校准输入固定。在两个 4 比特的 8B 模型上，固定半强度补偿在测试的每个模型、文本和绘图上都优于未补偿舍入，然而没有任何选择强度的规则能持续优于逐层规则，并且降低用于选择强度的数据上的全网络损失，并不能可靠地降低新文本上的损失。
| 评论： | 34 页 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；信息论 (cs.IT)；信号处理 (eess.SP) |
| 引用为： | arXiv:2610.16020 [cs.LG] |
| （或 arXiv:2610.16020v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16020 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianhao Guo [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 00:41:39 UTC（45 KB）
来源：arXiv cs.AI · arxiv.org