arXiv cs.AI· Rhea Sanjay Sukthanker, Riccardo Grazzi, James Hensman, Pashmina Cameron·· 11 小时前AI 评分34
超越 4 bits：以数据为中心的后训练量化与恢复方法
Beyond 4 bits: Data-Centric Post-training Quantization and Recovery
AI 导读
研究提出一种面向 2-bit 后训练量化（PTQ）的配方：采用向量码本表示、小型任务对齐校准数据，并将校准与恢复数据联合选择，在 3.8B 至 32B 的六个稠密与 MoE 模型上，以约 2.3 有效 bits/权重保留全精度 QA 准确率的 89% 至 97%，而标量 PTQ 已跌至随机水平。包含恢复阶段在内，其计算量比最强 QAT 基线少 1.4 至 30 倍。
正文 · AI 翻译
摘要：训练后量化（PTQ）在有限的计算和数据条件下压缩已训练模型的权重。降至 4 比特时它几乎无损，但在 2 比特时，标量 PTQ 配置会跌至随机水平的准确率。我们研究了三种通常被视为实现细节、在 4 比特时影响甚微但在 2 比特时决定质量的选择：量化表示、校准数据和恢复微调数据，覆盖六个稠密与混合专家模型（参数量从 $3.8$ 到 $32$B）。表示是最大的因素，向量码本能在标量 PTQ 流程崩溃之处恢复出可用的模型。准确率剩余的损失大多出现在 \emph{生成}任务上，且性能下降的幅度取决于模型。此外，在较短的恢复预算下，校准数据与恢复数据是耦合的。最佳的恢复数据取决于校准数据，因此二者必须联合选择。由此得到的方案包括向量码本表示、小型任务对齐的校准混合数据，以及一个廉价的仅码本恢复阶段。计入码本，它每权重约使用 $2.3$ 个有效比特，在标量 PTQ 处于随机水平之处保留了 $89$ 到 $97\%$ 的全精度问答（QA）准确率，并且计入恢复后，其计算量比最强的量化感知训练（QAT）基线少 $1.4$ 到 $30\times$。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28537 [cs.AI] |
| （或 arXiv:2610.28537v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28537 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rhea Sanjay Sukthanker [查看邮箱]
[v1]
2026年10月20日星期二 17:10:04 UTC（450 KB）
来源：arXiv cs.AI · arxiv.org