arXiv cs.AI· Mahsa Salmani, Sayeh Sharify, Hesham Mostafa·· 6 天前AI 评分31
DualQuant：面向 LLM 的双尺度免校准权重与激活量化
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
AI 导读
DUALQUANT 是一个双尺度、免校准的 LLM 训练后量化框架，通过最小化权重重建 MSE 直接得到逐通道激活缩放因子，无需校准数据即可完成激活量化。该方法是首个正式支持 MX 全家族与 NVFP4 等块格式的双尺度量化算法，在 Llama 和 Qwen 上于 WikiText-2、C4 及零样本任务中匹配或超越基于校准的 SmoothQuant。
正文 · AI 翻译
摘要：在原生支持 4 位精度的加速器上进行低位推理，需要将权重和激活都量化，才能充分实现这些格式带来的吞吐量提升。虽然训练后权重量化已被广泛研究，但激活量化仍然困难得多，通常需要校准数据。在这项工作中，我们提出了 DUALQUANT，一种双尺度、免校准的训练后量化框架，它直接最小化权重重建均方误差（MSE），并作为直接副产物，在激活量化之前得到逐通道的激活重缩放因子。我们的关键观察是，通过最小化权重重建误差得到的缩放因子能够提供有效的激活重缩放，从而在无需校准数据的情况下实现有竞争力的激活量化。我们将 DUALQUANT 表述为一个不可微的权重重建问题，并基于变量分裂和块坐标下降开发了一种高效求解器，其中每个子问题都有闭式更新。DUALQUANT 提供了一种统一算法，支持多种格式，包括完整的 MX 系列和 NVFP4。据我们所知，DUALQUANT 是首个正式支持 MX 和 NV 块格式的双尺度方法。在 WikiText-2、C4 和零样本下游任务上评估的 Llama 和 Qwen 模型中，DUALQUANT 在大多数模型和格式上达到或超过了基于校准的 SmoothQuant 的准确率，并大幅优于免校准基线，在 MX 和 NV 块格式上提升尤为显著。我们在 RTX 4090 上通过 Llama-3.1-8B 的真实打包 W4A4 推理路径验证了这些提升。最终实现与伪量化的准确率非常接近，同时相比 BF16 实现了最高 2.61 倍的内存减少和最高 2.46 倍的吞吐量加速。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13767 [cs.LG] |
| （或 arXiv:2610.13767v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13767 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mahsa Salmani [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 15:51:38 UTC（940 KB）
来源：arXiv cs.AI · arxiv.org