arXiv cs.AI· Chi Ruan, Yujie Chen, Zixiang Zhao, Jingcai Guo, Haotong Qin·· 3 天前AI 评分24
RECAP：在推理模型读过的历史上下文上校准低比特量化
RECAP: Calibrating Low-Bit Reasoning Models on the History They Read
AI 导读
针对低比特量化会损害推理模型长链思维的问题，研究者提出训练后量化方法 RECAP，通过动态前缀校准和前缀读取几何，在模型实际读取的历史上下文上校准量化误差。在 W4A4KV4 设置下，RECAP 使 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上准确率较基线提升 13.3 个百分点，Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。
正文 · AI 翻译
摘要：低位量化降低了推理模型的服务成本，但可能大幅削弱长思维链。每一步都会读取跨越数千个 token 的缓存键和值，使量化误差沿轨迹累积。标准校准在短片段上操作，忽略了后续推理步骤所需的更早上下文。即使保留该上下文，仅凭缓存重建误差也无法刻画量化误差如何影响后续注意力。我们提出 RECAP，一种训练后量化方法，它基于推理模型所读取的历史对其进行校准。动态前缀校准将长历史上下文与短块重建分离。它用当前量化器重新生成前缀键和值，并轮换活动块以监督轨迹上的每个位置。前缀读取几何进一步根据历史缓存误差对注意力输出的影响来监督这些误差，对键误差和值误差进行非对称加权。由于两个组件仅在校准期间应用，RECAP 在多个推理模型和量化设置上均优于基线。在 W4A4KV4 下，RECAP 在 DeepSeek-R1-Distill-Qwen-1.5B 的 MATH500 上比基线提升 13.3 个百分点，在 Qwen3-4B 的 AIME-120 上提升 15.8 个百分点。这些结果凸显了在校准期间保留历史依赖关系对于低位推理的重要性。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15259 [cs.AI] |
| （或 arXiv:2610.15259v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15259 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chi Ruan [查看邮箱]
[v1]
2026年10月11日星期日 01:10:33 UTC（322 KB）
来源：arXiv cs.AI · arxiv.org