arXiv cs.AI· Ning Yang, Bohan Cui, Zhuowen Liu, Yuting Wang·· 12 小时前AI 评分31
ResCom：用激活残差补偿提升大语言模型量化精度
ResCom: Activation Residual Compensation for Large Language Model Quantization
AI 导读
ResCom 提出一种低秩校正方法，利用激活舍入残差补偿量化后的层输出误差，通过输出感知校准以闭式解选取残差方向，无需梯度训练或更新已校准权重。
正文 · AI 翻译
摘要：低位权重—激活量化可减少部署大语言模型所需的内存和计算量，但校准后激活舍入仍可能降低准确率。从舍入后的输入进行重建无法区分同一量化区间内的激活。我们提出 ResCom，一种低秩校正方法，利用激活舍入残差来补偿由此产生的层输出误差。一种输出感知的校准过程根据各残差方向对输出重建的贡献来选择方向，并以闭式解计算校正，无需梯度训练，也不更新已校准的权重。在采用 4 位权重和激活的 Llama-3-8B 上，秩为 32 的注意力校正将 WikiText-2 困惑度从 7.708 降至 7.147，使 MMLU 提升 2.89 个百分点，并将五样本 GSM8K 准确率从 23.96% 提升至 36.16%。在 1B 至 70B 参数的模型以及留出的 C4 上的评估检验了该方法在此设置之外的表现。所评估的 FP32 实现使 4K 预填充时间增加 2.25%；另一种独立的紧凑存储实现相对于 FP16 仍保持 27.7% 的峰值内存降低。
| 评论： | 25 页（10 页正文 + 附录），9 幅图，20 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2610.35955 [cs.LG] |
| （或 arXiv:2610.35955v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35955 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ning Yang [查看电子邮件]
[v1]
2026 年 10 月 25 日星期日 03:02:21 UTC（249 KB）
来源：arXiv cs.AI · arxiv.org