arXiv cs.AI· Daniele Solombrino, Antonio Andrea Gargiulo, Alessandro Zirilli, Luca Zhou, Adrian Robert Minut, Emanuele Rodol\`a·· 11 小时前AI 评分38
通过权重空间算术实现零样本量化
Zero-Shot Quantization via Weight-Space Arithmetic
AI 导读
研究者提出“量化向量”这一权重空间方向，可从供体任务中提取并用于修补接收模型，在 3-bit 设置下将 PTQ Top-1 准确率最高提升 60%，且无需接收端 QAT。该方法在无接收验证数据时提供零样本、低成本的极低比特部署替代方案，覆盖多种视觉与语言模型及 30 多个任务。论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：我们表明，对训练后量化（PTQ）的鲁棒性是权重空间中的一个可迁移方向。我们将该方向称为量化向量：通过简单的权重空间算术从供体任务中提取，可用于修补接收方模型，在 3 比特设置下将 PTQ Top-1 准确率提升最多 60%，且无需接收方侧的量化感知训练（QAT）。在不使用接收方验证数据时，该方法为极低比特部署提供了一种零样本、低成本的 QAT 替代方案。在多个视觉和语言模型以及 30 多个任务上，即使供体任务与接收方任务差异显著，供体量化向量也往往能带来可观收益。我们进一步严格证明了量化向量是良定义的，且不受重参数化对称性的影响，并对其作用给出了局部几何解释。综上，这些结果表明量化鲁棒性可以被部分隔离、复用，并通过简单的权重空间代数进行迁移。
| 评论： | 已被 NeurIPS 2026 接收。40 页。OpenReview：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.03420 [cs.CV] |
| （或 arXiv:2604.03420v4 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.03420 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniele Solombrino [查看邮箱]
[v1]
2026 年 4 月 3 日星期五 19:33:25 UTC（834 KB）
[v2]
2026 年 4 月 11 日星期六 19:49:30 UTC（844 KB）
[v3]
2026 年 5 月 8 日星期五 06:46:47 UTC（2,627 KB）
[v4]
2026 年 11 月 5 日星期四 14:09:30 UTC（1,913 KB）
来源：arXiv cs.AI · arxiv.org