arXiv cs.AI· Yi Pan, Haocheng Xi, Kan Zhu, Xingyang Li, Yibo Wu, Mayank Mishra, Hongtao Zhang, William X. Zheng, Baris Kasikci, Song Han, Kurt Keutzer, Rishabh Iyer, Ion Stoica·· 10 小时前AI 评分38
LeapQuant：面向线性注意力精准循环状态量化的高效推理方法
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
AI 导读
LeapQuant 是一种无需训练的 8-bit 循环状态量化方法，在 Qwen、Kimi、GLM 系列模型上实现接近 FP32 基线的精度。它通过按窗口量化避免误差累积，并用高精度 Compensator Tokens 保留状态中的离群值。在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 上，内核级平均加速 2.05–3.70 倍，端到端推理加速 1.47 倍。
正文 · AI 翻译
作者：Yi Pan、Haocheng Xi、Kan Zhu、Xingyang Li、Yibo Wu、Mayank Mishra、Hongtao Zhang、William X. Zheng、Baris Kasikci、Song Han、Kurt Keutzer、Rishabh Iyer、Ion Stoica
摘要：近期 LLM 越来越多地采用混合设计，用线性注意力替代标准注意力，例如 Gated DeltaNet（GDN）和 Kimi Delta Attention（KDA）。尽管它们将上下文压缩为固定大小的循环状态，并大幅降低长上下文处理的开销，但反复读取和更新该状态仍是主要的推理瓶颈。量化提供了一种降低该开销的自然途径，但会因舍入误差的累积以及状态中异常值行和列的存在而显著降低模型质量。为应对这些挑战，我们提出 LeapQuant，一种无需训练的方法，在 8 位循环状态量化下实现近乎无损的性能。首先，为缓解误差累积，我们提出逐窗口量化，即跳过一段 token 窗口，仅在其末尾对状态量化一次。在窗口内，输出由固定的低比特状态与高精度缓冲更新共同计算。其次，为减少每次量化引入的误差，LeapQuant 将状态中最大的异常值保留为少量高精度补偿 token（Compensator Tokens），它们与真实 token 共享更新路径。随后我们在量化前对剩余残差进行平滑，以进一步降低误差。在 Qwen、Kimi 和 GLM 模型系列上的全面实验表明，LeapQuant 在推理过程中大幅降低了内存和计算开销。在精度与 FP32 基线相当的情况下，它在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 GPU 上于内核层面实现平均 2.05--3.70$\times$ 的加速，端到端推理加速达 1.47$\times$。
| 评论： | 18 页，11 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.38166 [cs.LG] |
| （或 arXiv:2609.38166v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.38166 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yi Pan [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 17:59:34 UTC（782 KB）
[v2]
2026 年 11 月 10 日星期二 10:10:42 UTC（733 KB）
来源：arXiv cs.AI · arxiv.org