arXiv cs.CL· Johannes Wesch, Danni Liu, Jan Niehues·· 2 天前AI 评分32
KV²：一种自精炼的 KV Cache 压缩方法
KV$^2$: A Self-Refining KV Cache
AI 导读
KV² 是一种查询无关的 KV cache 压缩方法，先用轻量代理打分器筛选上下文中的高信息量 token，再仅对这一子集重新处理以计算最终淘汰分数。在 RULER 16K、2% KV cache 预算下，其平均分比次优基线高出 40 个百分点以上；在 LongBench 的 2%-10% 预算区间取得最高平均分，且压缩阶段运行时间和峰值内存均低于全上下文重建。代码已开源。
正文 · AI 翻译
摘要：键值（KV）缓存的内存占用限制了长上下文模型的实际应用，并且当一个预填充的上下文之后需要服务于许多不同查询时，它会主导成本。在这种可复用场景中，与查询无关的压缩需要在成本与质量之间权衡：轻量级估计器成本低但精度较差，而全上下文重建评分更准确，却需要重新处理整个提示。我们提出 KV$^2$，一种基于选择性重建的与查询无关的 KV 缓存压缩方法。KV$^2$ 首先使用轻量级代理评分器识别信息量大的上下文内 token，然后仅重新处理该子集以计算最终的逐出分数。在 RULER、Needle-in-a-Haystack 和 LongBench 上，KV$^2$ 相对基线的优势随着预算收紧而扩大：在 RULER 16K 上，当 KV 缓存预算为 2% 时，其平均分数比次优基线提高超过 40 个百分点；在 LongBench 上，它在 2%-10% 预算范围内取得最高平均值，同时压缩阶段运行时间和峰值内存均低于全上下文重建。因此，可复用 KV 缓存压缩无需重新处理完整上下文。我们的代码可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.03198 [cs.AI] |
| （或 arXiv:2610.03198v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.03198 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Danni Liu [查看电子邮件]
[v1]
2026年10月2日星期五 12:11:35 UTC（1,107 KB）
[v2]
2026年10月15日星期四 11:16:05 UTC（1,108 KB）
来源：arXiv cs.CL · arxiv.org