arXiv cs.CL· Xingyu Liu, Xiangyang Yin, Tianhua Xia, Haiyu Wang, Sai Qian Zhang·· 10 小时前AI 评分26
CodeQuant2：面向低精度大推理模型的离群值缓解与自适应聚类量化框架
CodeQuant2: Enhanced Outlier Mitigation and Adaptive Clustering for Low-Precision LRMs
AI 导读
CodeQuant2 是一个基于聚类的 LUT 量化框架，用于低精度大推理模型（LRM），通过旋转与缩放缓解激活离群值、用聚类表示非均匀权重分布，并按各层量化难度自适应调整码本大小。该框架还改进了校准样本选择，以匹配推理解码早期的激活波动，配合定制 LUT CUDA kernel 在推理基准上显著提升精度，相对 BF16 最高实现 2.85 倍加速。
正文 · AI 翻译
摘要：大型推理模型（LRMs）通过生成更长的中间推理轨迹来提升任务表现，但这大幅增加了推理成本，也使低精度量化变得愈发重要。然而，激进量化的模型在推理任务上往往表现不佳。我们观察到，在推理的最初几个解码步骤中，激活波动更大。若校准过程遗漏这些早期状态，可能会错过其激活波动。为应对这些推理特有的量化挑战，我们提出 \textbf{CodeQuant2}，一个面向低精度大型推理模型的基于聚类的 LUT 量化框架。CodeQuant2 通过旋转和缩放缓解激活离群值，使用聚类表示非均匀的权重分布，并根据每一层的量化难度自适应调整码本大小。基于我们对推理时激活行为的观察，CodeQuant2 进一步改进了校准样本选择，以更好地匹配实际解码统计。结合我们定制的 LUT CUDA 内核，CodeQuant2 在推理基准上带来显著的准确率提升，同时相比 BF16 实现最高 $2.85\times$ 的加速。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09868 [cs.CL] |
| （或 arXiv:2611.09868v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09868 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangyang Yin [查看邮箱]
[v1]
2026年11月6日星期五 18:48:04 UTC（659 KB）
来源：arXiv cs.CL · arxiv.org