arXiv cs.AI· Jaehun Gim, Jaewoo Kim, Gyuwan Kim, Seo Yeon Park·· 1 天前AI 评分29
SignRot：面向超大离群值的符号调整旋转 LLM 量化方法
SignRot: LLM Quantization with Massive Outlier-Aware Sign-Adjusted Rotation
AI 导读
SignRot 通过识别超大离群通道并构造符号调整向量，统一对应 Hadamard 行的符号，将双峰分布坍缩为适合量化的单峰分布，并配合非对称激活量化吸收均值偏移。
正文 · AI 翻译
摘要：量化虽能压缩 LLM 并加速推理，但离群激活会阻碍高效的低比特表示。尤其是大规模离群值会造成显著的性能下降。尽管依赖随机 Hadamard 变换进行在线推理的旋转方法旨在缓解这一问题，但当某个大规模离群值主导某个 token 的激活时，它们可能产生带有空 bin 的碎片化分布。这种碎片化会严重削弱均匀量化的性能。此外，大规模离群值集中在 down-projection 输入处，而此前的非线性要求在该位置于推理时应用旋转。这一约束使得 SpinQuant 等基于训练的方法无法在该位置学习在线旋转，因为学习得到的稠密矩阵无法使用快速 Walsh-Hadamard 变换，且在推理时需要完整的矩阵乘法。为解决这一问题，我们提出 SignRot（符号调整旋转），它识别大规模离群通道并构造符号调整向量，统一对应 Hadamard 行的符号，将双峰分布坍缩为适合量化的单峰分布。由于对齐后的离群值使激活均值偏离零，我们将 SignRot 与非对称激活量化配对，由后者的零点吸收这一偏移。作为一种轻量级、即插即用的改进，SignRot 与任何基于 Hadamard 的量化方法兼容，仅需一次校准前向传播，推理时仅增加逐元素的符号翻转，无需额外的矩阵乘法。将 SignRot 应用于 QuaRot，在 LLaMA3-70B 模型上取得 5.88 的 WikiText2 困惑度和 72.73 的平均零样本推理准确率，超越了 SpinQuant。代码见 此 https URL。
| 评论： | 23 页，4 幅图，19 张表。已被 NeurIPS 2026 接收。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.16502 [cs.AI] |
| （或 arXiv:2611.16502v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.16502 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Jaehun Gim [查看邮箱]
[v1]
2026 年 11 月 12 日周四 09:05:14 UTC（293 KB）
来源：arXiv cs.AI · arxiv.org