arXiv cs.AI· Xinyu Lei, Hong Huang, Jiebin Zhang, Hongyu Li, Jinlong Song, Decheng Wu, Guanghua Yu, Jianchen Zhu, Sujian Li·· 11 小时前AI 评分38
E8-QAT：基于隐式格码本的 2-bit 量化感知训练
E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks
AI 导读
E8-QAT 提出以 E₈ 格作为隐式八维码本的 2-bit 量化感知训练框架，训练前向过程通过算术投影联合量化权重组，无需存储或搜索显式码本。在 Qwen3.6-35B-A3B 上，其四项任务平均分与全精度模型持平，IFEval 和 LiveCodeBench 分别比 SOTA 基线高 2.03% 和 1.51%。
正文 · AI 翻译
摘要：低比特量化可降低大语言模型的内存占用，但要在高效训练的同时保持精度仍具挑战性。标量量化独立编码权重，而显式码本向量量化在训练过程中引入昂贵的搜索。我们提出 E8-QAT，一种 2 比特量化感知训练框架，使用 $E_8$ 格作为隐式八维码本。它在训练前向传播过程中通过算术投影对权重组进行联合量化，无需存储或搜索显式码本。2 比特核心编码与稀疏扩展可精确保留所选格点，仅使核心索引存储增加不到 0.1\%。在 Qwen3.6-35B-A3B 上，E8-QAT 在四项任务的平均得分上与全精度模型性能相当。在相同数据、训练计划和比特宽度下，E8-QAT 在 IFEval 上比最先进基线提升 2.03\%，在 LiveCodeBench 上提升 1.51\%。2 比特表示将峰值内存降低 80\%，并支持 $4\times$ 更大的批次。在每种表示的最大可行批次下，E8-QAT 的解码吞吐量达到 BF16 的 $1.97\times$。
| 评论： | 17 页，6 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27699 [cs.AI] |
| （或 arXiv:2610.27699v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27699 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xinyu Lei [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 06:17:09 UTC（197 KB）
来源：arXiv cs.AI · arxiv.org