arXiv cs.AI· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 11 小时前AI 评分34
TileQuant：以 Tile 为精度分配单元的 LLM 混合精度训练后量化框架
TileQuant: Tile as the Precision-Allocation Unit for LLM Mixed-Precision Post-Training Quantization
AI 导读
TileQuant 是一个免训练框架，将精度分配给硬件对齐的 2D 权重 tile，在每个投影的保留预算内把最高分 tile 保持 16-bit、其余用 8-bit。它结合输入激活感知与梯度损失敏感度两种离线校准评分，实验达到原模型 2.66 倍的生成吞吐量，并在语言建模、推理、长上下文检索和问答任务上保持质量、多项任务超过量化模型与原模型。
正文 · AI 翻译
摘要：训练后量化（PTQ）可降低大语言模型（LLM）的部署成本，但要保持质量，就需要考虑权重敏感度的不均衡。均匀 PTQ 对所有层使用同一权重位宽，重要性感知 PTQ 在该位宽内调整缩放系数或重建权重，而按列混合精度则将选定的列保留在更高精度。然而，敏感度在列内也存在差异，因此整列保留也会保护敏感度较低的权重，而运行时离群值检测又会增加解码开销。为此，我们提出 TileQuant，这是一个无需训练的框架，将精度分配给硬件对齐的二维权重瓦片。离线校准通过前向统计提供输入激活感知评分，以降低校准成本；并通过损失敏感度提供梯度引导评分，以更强地保持质量。在每个投影的保留预算内，得分最高的瓦片保持 16 位，其余使用 8 位。生成的映射指导重建为紧凑的权重缓冲区，内核复用这些缓冲区进行原生整数和 16 位计算，并通过局部累加减少内存流量。实验表明，TileQuant 达到原始模型生成吞吐量的 2.66 倍。在语言建模、推理、长上下文检索和问答任务中，它保持了质量，并在多项任务上超越了量化模型和原始模型。这些结果支持选择能够捕捉局部敏感度、同时实现高效硬件执行的精度单元。实现见：此 https URL
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07217 [cs.LG] |
| （或 arXiv:2611.07217v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07217 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hanzhi Zhang [查看电子邮件]
[v1]
2026年11月4日星期三 23:09:34 UTC（1,058 KB）
来源：arXiv cs.AI · arxiv.org