arXiv cs.AI· Seohyeon Cha, Huancheng Chen, Dongjun Kim, Haoran Zhang, Kevin Chan, Gustavo de Veciana, Haris Vikalo·· 10 小时前AI 评分22
CoreQ:面向 LLM 量化的失配校正逐次舍入方法
CoreQ: Mismatch-Corrected Successive Rounding for LLM Quantization
AI 导读
CoreQ 是一个无需训练的 PTQ 框架,通过对失配做几何分解,计算闭式、逐层自适应的校正系数,控制观测失配进入各层校准目标的比例,避免过拟合有限校准数据且无需调参。其有界束搜索扩展 K-CoreQ 以少量额外算力换取更好性能。在多个 LLM 系列、规模、位宽和量化设置下,CoreQ 与 K-CoreQ 的困惑度和下游准确率均优于强 PTQ 基线,代码已在 GitHub 开源。
正文 · AI 翻译
摘要:训练后量化(PTQ)通过将预训练权重映射为低比特格式而无需重新训练,从而实现大语言模型的高效部署,通常使用小型校准集来最小化逐层校准目标。然而,这种顺序过程会引入失配:较早量化层的误差会改变后续层接收到的输入,导致激活值偏离全精度模型的激活值。近期方法引入失配感知的校准目标来补偿这一效应,但未明确观测到的失配中有多少应转移到每一层的校准目标上。我们表明,完全应用经验失配校正可能会对有限的校准数据过拟合,而使用固定校正系数则忽略了各层失配估计的差异。为解决这些局限,我们提出 CoreQ,一种无需学习的 PTQ 框架,它利用失配的几何分解来计算闭式的、层自适应的校正系数。该系数控制观测到的失配中有多少进入每一层的校准目标,从而在无需调参的情况下减少对有限校准数据的过拟合。随后,CoreQ 对由此产生的三角最小二乘目标应用高效的贪心逐次舍入。其有界束搜索扩展 K-CoreQ 以适度的额外计算换取性能提升。在多个 LLM 系列、规模、比特宽度和量化设置下,CoreQ 和 K-CoreQ 相比强 PTQ 基线实现了更低的困惑度和更高的下游准确率。代码已在 GitHub 上提供。
| 学科: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2602.05902 [cs.LG] |
| (或 arXiv:2602.05902v3 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2602.05902 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | NeurIPS 2026 |
提交历史
来自:Seohyeon Cha [查看邮箱]
[v1]
2026年2月5日 星期四 17:18:02 UTC(459 KB)
[v2]
2026年5月8日 星期五 19:18:18 UTC(993 KB)
[v3]
2026年11月18日 星期三 14:10:52 UTC(1,005 KB)
来源:arXiv cs.AI · arxiv.org