arXiv cs.CL· Jack Shi, Jerry Gu·· 11 小时前AI 评分31
ContourKV：在物理强制预算下实现更优的 KV-Cache 淘汰规则
Trust the Mass: Forced Weights in KV-Cache Eviction
AI 导读
研究者提出免训练的 ContourKV，在物理强制预算下应用 KVzip 的评分规则，在 RULER 和 LongBench 的 160 次基准测试中有 93 次优于 KVzip，内存占用减少 28 至 1078 倍，并在同等内存下与最强基线 Compactor 持平。
正文 · AI 翻译
摘要：所有已部署的 KV 缓存淘汰规则和所有 top-$k$ 稀疏注意力规则都保留一部分键、丢弃其余键，并在保留的键集合上重新归一化注意力权重。在该约束下寻找精确的最优子集时，我们发现保留权重最大的键已经接近最优，因为我们找到的最优子集只能将剩余与全注意力差距的中位数缩小 $2$ 到 $5\%$。我们在 KVPress 中评估已部署的淘汰方法，发现采用非均匀逐头预算的方法会在完整缓存上应用注意力掩码，因为稠密缓存张量要求各头长度相等。将每个头截断到目标预算会使基准分数下降 $14$ 到 $62$ 分，而在上下文中结合问题计算 token 重要性在检索准确率上贡献了 $87.6$ 分。我们提出 ContourKV，一种无需训练的规则，在物理强制预算下应用 KVzip 的分数。它在 RULER 和 LongBench 的 $160$ 次基准运行中有 $93$ 次胜过 KVzip，同时内存占用少 $28$ 到 $1078$ 倍，并在同等内存下与最强基线 Compactor 持平。
| 评论： | 被 NeurIPS 2026 高效深度学习基础研讨会接收。22 页，5 幅图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.25230 [cs.LG] |
| （或 arXiv:2608.25230v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.25230 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jerry Gu [查看邮箱]
[v1]
2026 年 8 月 25 日星期二 23:40:39 UTC（1,079 KB）
[v2]
2026 年 8 月 28 日星期五 06:26:03 UTC（1,079 KB）
[v3]
2026 年 11 月 5 日星期四 07:13:49 UTC（1,164 KB）
来源：arXiv cs.CL · arxiv.org