arXiv cs.AI· Xianglong Yan, Zenan Wu, Kewei Zhang, Kaicheng Yang, Yulun Zhang·· 3 天前AI 评分32
SAGE：将 2-bit 向量量化 LLM 推向真实可用
SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability
AI 导读
SAGE 是一种面向权重-only 向量量化的新方法，通过能量分层分组（ESG）与自适应比特拆分（ABS）两项设计，在 2-bit 量化下取得 SOTA 表现。
正文 · AI 翻译
摘要：极低位仅权重量化是降低大语言模型部署成本的有效方法。在低于 3 比特时，标量量化通常会遭受严重的精度损失，而向量量化（VQ）通过更具表达力的联合编码能更好地保持精度。然而，现有的 VQ 方法在真实任务上仍表现出显著退化，且两个设计挑战仍未得到充分探索：（1）保护联合编码向量中的敏感权重通道；（2）在表示分量（如方向和半径）之间分配固定的比特预算，以适应不同的权重矩阵。为应对这些挑战，我们提出了 SAGE：用于仅权重向量量化的能量分组与拆分自适应。首先，能量分层分组（ESG）将通道分组与激活加权拟合相结合，在每个子向量内将来自不同能量层级的通道分组，以优先考虑敏感通道。其次，自适应比特拆分（ABS）为每个矩阵平衡方向码本容量与半径精度，在固定预算下选择激活加权重建误差最低的拆分方案。在涵盖知识、数学、代码生成、指令遵循和工具使用的基准测试中，SAGE 在 2 比特量化设置下取得了最先进的性能。在 Qwen3-30B-A3B 上，它保留了 BF16 模型平均基准分数的 95.3%。借助我们定制设计的 CUDA 内核，SAGE 相比 FP16 实现了最高 2.55 倍的非流式端到端加速。代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14745 [cs.AI] |
| （或 arXiv:2610.14745v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14745 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xianglong Yan [查看邮箱]
[v1]
2026年10月10日星期六 09:05:14 UTC（513 KB）
来源：arXiv cs.AI · arxiv.org