arXiv cs.AI· Bruce Changlong Xu·· 11 小时前AI 评分31
激活敏感度作为训练后量化统一原理：AWQ 与 GPTQ 被证明是同一损失二次型的特例
Activation Sensitivity as a Unifying Principle for Post-Training Quantization
AI 导读
研究证明 AWQ、GPTQ、对角 Fisher 量化、块重建与 Hadamard 旋转等训练后量化方法，都是梯度加权激活敏感度所支配的同一损失二次型的特例。基于该框架提出的 SAQ-GPTQ 在 token 梯度异质条件下保持 >99% 关键通道召回率，INT3/INT4 额外损失比未加权 GPTQ 降低约 3 倍。
正文 · AI 翻译
摘要：针对大语言模型的训练后量化（PTQ）方法通过优化层局部代理目标，在不重新训练的情况下将预训练权重压缩至低比特宽度。AWQ 等激活感知缩放方法保护激活范数较大的输入通道，而 GPTQ 等二阶误差补偿方法则利用未加权输入协方差矩阵的逆来重新分配舍入误差。我们证明，这两种范式——连同对角 Fisher 量化、块重建和 Hadamard 旋转方法——都是最小化由梯度加权激活敏感度所支配的单一损失导出二次型的特例。基于线性层 $Y = X W^\top$ 处任务损失的 Gauss-Newton 展开，我们证明在各向同性输出曲率下，权重扰动 $\Delta W$ 引起的期望超额损失可简化为 $\frac{1}{2 d_{\mathrm{out}}}\operatorname{Tr}(\Delta W H_D \Delta W^\top)$，其中 $H_D = \frac{1}{n} X^\top D X$ 以每个校准 token 的平方输出梯度范数 $D_{tt} = \|\nabla_{y_t}\mathcal{L}\|_2^2$ 对其外积加权。在该框架内，AWQ 对应于 $H_D$ 的对角近似，采用均匀 token 权重（$D = I_n$）并通过通道缩放进行优化；而 GPTQ 对应于 $D = I_n$ 下 $H_D$ 上的 Cholesky 误差补偿。我们推导了对角敏感度保护的最优缩放指数闭式解，在 $H_D$ 上构建了敏感度加权 Cholesky 量化（SAQ-GPTQ），并证明了关于 token 梯度异质性偏差、跨残差块的跨层误差放大以及有限样本校准集中性的界。受控数值模拟证实，在 token 梯度异质性下，用 $X^\top D X$ 替换 $X^\top X$ 可保持 $>99\%$ 的 top 通道显著性召回率，并将 INT3/INT4 超额损失较未加权 GPTQ 降低约 $3\times$。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.6；G.1.6 |
| 引用为： | arXiv:2601.11663 [cs.LG] |
| （或 arXiv:2601.11663v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.11663 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bruce Xu [查看邮箱]
[v1]
2026年1月15日星期四 22:27:19 UTC（16 KB）
[v2]
2026年10月20日星期二 06:57:59 UTC（21 KB）
来源：arXiv cs.AI · arxiv.org