LeapQuant：免训练8比特循环状态量化
热点事件持续更新
LeapQuant：免训练8比特循环状态量化
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Yi Pan 等作者提出免训练的 8 比特循环状态量化方法 LeapQuant，用于线性注意力模型的推理加速。该方法按窗口量化以避免误差累积，并用高精度 Compensator Tokens 保留状态中的离群值。作者称，在 Qwen、Kimi、GLM 系列模型上，其精度接近 FP32 基线；在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 上，内核级平均加速 2.05–3.70 倍，端到端推理加速 1.47 倍。
AI 根据报道生成 · 51 分钟前更新
最新进展11月11日 13:00
LeapQuant：面向线性注意力精准循环状态量化的高效推理方法报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AILeapQuant：面向线性注意力精准循环状态量化的高效推理方法
LeapQuant 是一种无需训练的 8-bit 循环状态量化方法，在 Qwen、Kimi、GLM 系列模型上实现接近 FP32 基线的精度。它通过按窗口量化避免误差累积，并用高精度 Compensator Tokens 保留状态中的离群值。在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 上，内核级平均加速 2.05–3.70 倍，端到端推理加速 1.47 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。