arXiv cs.AI· Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang·· 12 小时前AI 评分32
InfoQuant：面向低比特 LLM 量化的激活分布设计方法
InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization
AI 导读
InfoQuant 是一种免训练的低比特 LLM 量化方法，通过峰值抑制正交变换（PSOT）将激活塑造成更易离散化的分布，并引入自适应离群 token 选择提升优化鲁棒性。在 W4A4KV4 设置下，该方法平均保留 97% 的浮点精度，并将 LLaMA-2 13B 的性能差距较此前 SOTA 缩小 42%。
正文 · AI 翻译
摘要：低位激活量化仍然是高效部署大型语言模型（LLM）的主要瓶颈。难点不仅在于激活值包含离群值，还在于其分布往往与低位均匀量化器匹配不佳。现有的训练后量化（PTQ）方法会抑制峰值、平衡通道或最小化重建误差，但它们很少明确说明什么样的激活分布才真正易于离散化。结果，激活值在数值上可能看起来更平滑，却仍然产生较大的量化误差，因为量化范围仍然很宽，或者大多数值都塌缩到均值附近的少数几个级别中。我们将激活变换重新表述为面向量化器的分布设计，并从信息论角度分析量化误差。我们的分析表明，对量化友好的激活值应同时具有较小的数值范围以及在该范围内足够的离散度。在此分析指导下，我们提出 InfoQuant，这是一种无需训练的方法，采用峰值抑制正交变换（PSOT）将激活值塑造成更利于量化的分布。我们进一步引入自适应离群 token 选择，以提高 PSOT 在优化过程中的鲁棒性。在多个 LLM 系列上，InfoQuant 始终优于先前的 PTQ 和端到端训练基线。在 W4A4KV4 下，它平均保留了 97% 的浮点精度，并将 LLaMA-2 13B 的性能差距较此前最先进方法缩小了 42%。代码可在 [此 https URL](此 https URL) 获取
| 评论： | EMNLP2026 主会 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.26175 [cs.LG] |
| （或 arXiv:2605.26175v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.26175 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ke Li [查看电子邮件]
[v1]
2026年5月25日星期一 05:34:46 UTC（3,267 KB）
[v2]
2026年10月21日星期三 14:39:26 UTC（3,267 KB）
来源：arXiv cs.AI · arxiv.org