arXiv cs.AI· Mads Toftrup, Marco Federici, Boris van Breugel, Paul Whatmough, Markus Nagel·· 13 小时前AI 评分24
统一 Hessian 引导框架实现训练后量化
A Unified Hessian-Guided Framework for Post-Training Quantization
AI 导读
研究者提出一种 Hessian 引导的统一训练后量化框架，基于可处理的 Fisher 近似，将量化范围选择、线性变换与权值舍入纳入同一输出敏感度目标下联合优化。该方法在现代大语言模型上保持实用性，在逐通道与分块量化设置下均持续优于当前最优的变换与舍入方法。
正文 · AI 翻译
摘要：低位量化通过降低内存占用和计算成本，使大语言模型得以高效部署。要在低精度下实现高准确率，需要选择量化范围、线性变换和权值舍入决策。现有方法通常使用局部重建目标独立优化这些组件，未能考虑量化误差对下游预测的不同影响。直接优化任务级指标能提供更忠实的目标，但由于量化操作的不连续性以及评估其下游影响的高计算成本，这一做法颇具挑战。
在本工作中，我们推导了由权重与激活联合量化引起的输出变化的 Hessian 引导近似。基于可处理的 Fisher 近似，我们构建了一个统一的训练后量化框架，能够在共同的输出敏感度目标下联合优化量化范围、线性变换和权值舍入。所得方法对现代大语言模型仍然实用，并在逐通道和逐块量化设置下均持续优于最先进的变换与舍入方法。
| 评论： | 10 页 + 4 附录 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40345 [cs.LG] |
| （或 arXiv:2610.40345v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40345 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Marco Federici [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 16:06:01 UTC（166 KB）
来源：arXiv cs.AI · arxiv.org