arXiv cs.CL· Zunhai Su, Rui Yang, Chao Zhang, Yaxiu Liu, Yifan Zhang, Wei Wu, Jing Xiong, Dayou Du, Xialie Zhuang, Yulei Qian, Jianchao Tan, Yuchen Xie, Yik-Chung Wu, Hongxia Yang, Ngai Wong·· 3 天前AI 评分29
OScaR：面向 LLM 及更多模型的极致 KV Cache 量化方案
OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond
AI 导读
针对 KV cache 显存瓶颈，研究者提出轻量压缩框架 OScaR（Omni-Scaled Canalized Rotation），指出 Token Norm Imbalance（TNI）是 per-channel 量化在极致压缩下失效的主因，并通过 Canalized Rotation 与 Omni-Token Scaling 缓解该问题。
正文 · AI 翻译
作者：Zunhai Su、Rui Yang、Chao Zhang、Yaxiu Liu、Yifan Zhang、Wei Wu、Jing Xiong、Dayou Du、Xialie Zhuang、Yulei Qian、Jianchao Tan、Yuchen Xie、Yik-Chung Wu、Hongxia Yang、Ngai Wong
摘要：随着长上下文推理与多模态智能的快速发展，Key-Value（KV）缓存的内存占用已成为高效部署的主要内存瓶颈。尽管既有的逐通道量化能有效应对 Key 张量中固有的通道级离群值，但在极端压缩下其效果会减弱。在本工作中，我们从经验与理论两个角度重新审视逐通道量化范式的固有局限。我们的分析将 Token 范数失衡（TNI）确定为量化保真度的主要瓶颈。我们证明，当共享量化参数需要覆盖范数差异显著的 token 组时，TNI 会系统性地放大误差。我们不依赖复杂的量化流程（如 TurboQuant），而是提出 OScaR（Omni-Scaled Canalized Rotation），一个面向 X-LLM（即纯文本、多模态和全模态 LLM）的精确且轻量的 KV 缓存压缩框架。OScaR 推进了逐通道范式，采用 Canalized Rotation 后接 Omni-Token Scaling，以有效且高效地缓解 TNI 引起的序列维度方差，并进一步得到我们优化的系统设计与 CUDA 内核的支持。在 X-LLM 上的大量评估表明，OScaR 持续优于现有方法，并在 INT2 量化下实现近乎无损的性能，确立其为一个稳健、低复杂度且通用的框架，定义了新的帕累托前沿。与 BF16 FlashDecoding-v2 基线相比，我们的 OScaR 实现实现了高达 3.0 倍的解码加速，将内存占用降低 5.3 倍，并将吞吐量提升 4.1 倍。OScaR 的代码已公开于 此 https URL。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.19660 [cs.LG] |
| （或 arXiv:2605.19660v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.19660 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zunhai Su [查看邮箱]
[v1]
2026年5月19日星期二 10:53:03 UTC（13,912 KB）
[v2]
2026年10月10日星期六 04:19:44 UTC（13,937 KB）
[v3]
2026年10月14日星期三 05:26:57 UTC（13,937 KB）
来源：arXiv cs.CL · arxiv.org