arXiv cs.CL· Alireza Dadgarnia, Soroush Tabesh, Mahdi Nikdan, Michael Helcig, Eldar Kurtic, Maximilian Kleinegger, Dan Alistarh·· 10 小时前AI 评分38
GSQ：基于 Gumbel-Softmax 采样的 LLM 高精度低比特标量量化
GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling
AI 导读
GSQ 是一种训练后标量量化方法，通过 Gumbel-Softmax 松弛联合学习逐坐标网格分配与逐组缩放，在 Llama-3.1-8B/70B-Instruct 上以 2 比特和 3 比特缩小了标量量化与 QTIP 前沿的差距，并保持与现有标量推理内核兼容。
正文 · AI 翻译
摘要：量化已成为高效部署 LLM 的标准工具，尤其适用于本地推理，如今模型通常以每参数 2-3 比特的精度提供服务。目前最先进的技术分为两类：一类是简单的标量量化技术，如 GPTQ 或 AWQ，它们被广泛部署，但在每参数 3-4 比特（bpp）时精度趋于饱和；另一类是“第二代”向量量化或网格量化方法，如 QTIP、GPTVQ 和 AQLM，它们推动了精度前沿，但众所周知难以实现和扩展。在本文中，我们探讨这一差距是否是根本性的，还是一个经过精心优化的 $\textit{scalar}$ 量化器能否弥补其中大部分差距。我们给出了肯定的回答，并提出了 GSQ（Gumbel-Softmax Quantization），这是一种训练后标量量化方法，它利用离散网格的 Gumbel-Softmax 松弛，联合学习逐坐标的网格分配和逐组的缩放因子。GSQ 将松弛的基数与目标比特宽度范围内可用的少量级别（例如，三进制和 3 bpp 分别对应 3-8 个级别）相匹配，从而使优化易于处理。在实践中，在标准的 Llama-3.1-8B/70B-Instruct 模型上，GSQ 在 2 比特和 3 比特下弥合了标量量化与 QTIP 前沿之间的大部分差距，同时使用对称标量网格和分组量化，因此仍与现有的标量推理内核兼容。我们进一步表明，同样的离散分配优化可以应用于实际的 GGUF K-Quant 检查点：从公开发布的 GGUF 模型出发，GSQ 在提高精度的同时将结果投影回相同的部署格式。最后，GSQ 可扩展到万亿级混合专家模型，如 Kimi-K2.5，而向量量化方法难以应用于此类模型。源代码公开于 此 https URL。
| 评论： | 已被 NeurIPS 2026 接收。27 页。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.18556 [cs.CL] |
| （或 arXiv:2604.18556v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.18556 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Soroush Tabesh [查看电子邮件]
[v1]
2026 年 4 月 20 日星期一 17:45:47 UTC（38 KB）
[v2]
2026 年 5 月 15 日星期五 09:34:30 UTC（49 KB）
[v3]
2026 年 11 月 10 日星期二 13:28:54 UTC（52 KB）
来源：arXiv cs.CL · arxiv.org