arXiv cs.CL· Kai Yi, Tarek Elgamal, Sruthikesh Surineni, Vignesh Vivekraja, Soumyadeep Ghosh, Steven Li·· 10 天前AI 评分27
CanonQ：面向 W2A4KV2 的极低位宽 LLM 量化框架
Few Bits, One Law: Toward W2A4KV2
AI 导读
CanonQ 是一个统一的量化感知训练框架，通过将源规范化与任务感知适配分离，实现权重、激活与 KV cache 联合极低位宽压缩。在 W2A4KV2 下，CanonQ-Omni 在 LLaMA3-1B/3B/8B 上 WikiText-2 困惑度最多降低 14.28 倍，零样本平均准确率最多提升 57.9%。
正文 · AI 翻译
摘要：当权重、激活值和 KV 缓存同时被量化时，极低比特 LLM 压缩最具挑战性：它们的分布不同，且量化误差会在整个网络中相互作用。我们提出 CanonQ，一个统一的量化感知训练框架，通过将源规范化与任务感知适配分离来应对这些挑战。固定旋转和能量归一化将异构张量源映射到规范坐标，使冻结的高斯参考码本能够跨层和跨模型复用。联合训练随后在统一的标量/向量接口内，使网络适应权重、激活值和缓存量化的耦合误差。我们给出了冻结码本迁移误差和局部任务损失的界，并推导出精确的归一化感知直通雅可比矩阵，将量化失真与梯度偏差联系起来。最强的增益出现在联合 W2A4KV2 压缩下：在 LLaMA3-1B/3B/8B 上，CanonQ-Omni 相比先前最先进方法和代表性量化基线，实现了最高 14.28 倍的 WikiText-2 困惑度降低，以及最高 57.9% 的平均零样本准确率提升。这些优势还扩展到 Qwen3-1.7B、代码生成和数学推理：在指令微调的 MobileLLM-Pro-1B 上，于 W2A16KV16 设置下，CanonQ 相比评估的最强量化基线，在 HumanEval pass@1 上实现了 41.7% 的相对提升，在 GSM8K 精确匹配上实现了 39.1% 的相对提升。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.09202 [cs.AI] |
| （或 arXiv:2610.09202v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09202 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kai Yi [查看邮箱]
[v1]
2026年10月6日星期二 22:55:36 UTC（564 KB）
来源：arXiv cs.CL · arxiv.org