arXiv cs.CL· Siddharth Bhandari, Lucas Gretta, Krishna Balasubramanian, Shiva Kasiviswanathan·· 9 天前AI 评分27
ReadKV：面向 KV Cache 的查询自适应量化
Read What Matters: Query-Adaptive Quantization for KV Caches
AI 导读
ReadKV 提出一种查询自适应 KV cache 量化方法，将每个 key 和 value 存为渐进式编码，前缀支持不同重建精度，每个查询先按查询分配 key 通道前缀、再由重建 key 算出的注意力分配 value token 前缀，存储条目保持不变。
正文 · AI 翻译
摘要：KV 缓存条目在其未来查询已知之前就被存储，但每个解码查询在不同位置需要不同的精度。我们通过为保留位和每次查询获取的位分别设置预算来研究这种不匹配。ReadKV 将每个键和值存储在一个渐进式编码中，其前缀支持不同的重建精度。对于每个查询，它使用该查询分配键通道前缀，根据重建的键计算注意力，然后使用该注意力分配值 token 前缀。存储的条目保持不变。每个阶段在固定预算下优化一个校准的失真目标；我们证明了在递减细化增益下的精确分配，并将这些目标与注意力输出误差联系起来。我们还展示了一个有限维注意力族，其中在相同读取预算下，依赖查询的访问严格优于所有不依赖查询的读取器，即使竞争编码器和解码器不受限制。
在六个基础模型上，从八位缓存中平均读取四位，使 C4 困惑度最多增加 0.66%，使用的逻辑读取量约为 16 位缓存的四分之一，保留容量为其一半。在相同的有效载荷读取预算下，它始终比存储并完整读取四位更准确。保留比每个查询获取的更多位，旨在面向长上下文解码，其中每步移动的缓存字节（而非权重）主导成本。在两个指令微调模型上的长上下文问答和检索提供了额外的质量证据。在 NVIDIA A10G 上测试的 8K token、批大小为 1、单层工作负载中，具有两位平均有效载荷读取预算的受限八位 ReadKV 读取器，其延迟比测试的 TurboQuant 编解码器低 39%。
| 评论： | 50 页，3 幅图，12 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；性能（cs.PF） |
| 引用为： | arXiv:2610.11245 [cs.LG] |
| （或 arXiv:2610.11245v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11245 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siddharth Bhandari [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 04:47:41 UTC（117 KB）
来源：arXiv cs.CL · arxiv.org