arXiv cs.AI· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 10 天前AI 评分23
AlignQuant：面向高效 LLM 生成的 Tile 对齐混合精度量化
AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation
AI 导读
AlignQuant 是一种训练后量化方法，以 GPU 兼容的二维权重 tile 作为精度分配、紧凑存储与执行的统一单元，让精度在输出通道内跟随敏感度变化。该方法在 3B 至 14B 参数的四款 LLM 上实现最高 2.50 倍于 BF16 的生成加速并保持模型质量，评测覆盖三种 GPU 与最高 64K tokens 上下文。
正文 · AI 翻译
摘要：细粒度混合精度量化有望实现高效的大语言模型推理，但局部精度选择可能与常规 GPU 存储和计算单元相冲突。这种精度边界不匹配限制了将压缩转化为实际加速。我们提出 AlignQuant，一种训练后量化方法，使用 GPU 兼容的二维权重块作为精度分配、紧凑存储和执行的共同单元。这种共享划分让精度在输出通道内跟随敏感度。联合预填充/解码校准在量化激活下，使用由语言模型损失梯度加权的投影输出扰动来评估精度降低。相位归一化分数在模型级权重存储预算下，优先为对任一阶段重要的块分配更高精度。每个块存储一种选定的表示，而相位专用内核复用打包模型，并将低位权重扩展为 INT8 计算，使用 8 位激活。在涵盖 3B 到 14B 参数的四个 LLM 上，AlignQuant 相比 BF16 实现了最高 $2.50\times$ 的生成加速，同时保持模型质量。评估还覆盖三种 GPU 和最高 64K token 的上下文。这些结果表明，通过共享块单元，局部精度灵活性与常规 GPU 执行可以共存。实现见 此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07457 [cs.LG] |
| （或 arXiv:2610.07457v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07457 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hanzhi Zhang [查看邮箱]
[v1]
2026年10月5日星期一 22:06:04 UTC（581 KB）
来源：arXiv cs.AI · arxiv.org