arXiv cs.AI· Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu·· 1 天前AI 评分38
OSCAR：面向 2-bit KV Cache 量化的离线谱协方差感知旋转方法
OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
AI 导读
OSCAR 是一种超低比特 KV-cache 量化方法，通过离线估计注意力感知的协方差目标，为每层推导固定的旋转矩阵与裁剪阈值，在 2-bit 精度下保持注意力保真度。
正文 · AI 翻译
摘要：INT2 KV 缓存量化对于长上下文 LLM 服务颇具吸引力，但要让其既准确又实用仍具挑战性。诸如 Hadamard 变换之类的数据无关旋转可抹平通道离群值，但由于忽略了下游注意力查询缓存的方式，在 INT2 下仍会急剧退化。我们提出 OSCAR，一种超低位 KV 缓存量化方法，它离线估计注意力感知的协方差目标，并据此推导固定的逐层旋转和裁剪阈值。通过将量化基与注意力所消费的二阶矩结构对齐，OSCAR 在 2 比特精度下保持了注意力保真度。除在冻结误差代理下的理论分析外，我们还构建了可服务化的 OSCAR 系统，配备融合的 Triton 写入与解码内核，保留分页 KV 缓存布局和前缀缓存，并可集成到 SGLang 和 vLLM 等现代服务引擎中。
我们在推理与编码基准上评估 OSCAR，涵盖五个任务、生成轨迹长达 32K token。在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上，OSCAR 将 BF16 精度差距分别缩小至 3.78 和 1.21 个点，而仅用 Hadamard 的 INT2 会崩溃；在 Qwen3-32B 和 GLM-4.7（358B 参数）上，OSCAR 在运行间方差范围内与 BF16 持平。在长达 128K token 的 RULER-NIAH 上，OSCAR 在各上下文长度上大幅优于 QuaRot 式 INT2。在系统层面，OSCAR 将 KV 缓存内存压缩近 $8\times$，在相同内存预算下于大 batch size 时将多请求吞吐量提升至多 $7.8\times$，并通过减少 KV 内存流量将 batch-size-1 解码相比 BF16 加速至多 $3.1\times$。
| 评论： | 46 页，10 幅图。v2 增加了匹配基线对比、残差诊断和扩展的长上下文分析 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；分布式、并行与集群计算 (cs.DC)；性能 (cs.PF) |
| 引用为： | arXiv:2605.17757 [cs.LG] |
| （或 arXiv:2605.17757v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.17757 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhou Zhongzhu [查看邮箱]
[v1]
2026 年 5 月 18 日星期一 02:24:29 UTC (9,064 KB)
[v2]
2026 年 11 月 10 日星期二 23:07:42 UTC (15,729 KB)
来源：arXiv cs.AI · arxiv.org