arXiv cs.CL· Haeyong Kang, Chang D. Yoo·· 9 天前AI 评分24
DGE：面向免训练 KV-Cache 压缩的草稿引导驱逐时机方案
When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression
AI 导读
研究者提出 Draft-Guided Eviction（DGE），将 KV-Cache 驱逐推迟到用完整缓存生成前 k=2 个答案 token 之后，仅比 prefill 多一步解码，从而在答案轨迹信号出现前不丢弃任何缓存条目。
正文 · AI 翻译
摘要：SnapKV、H2O 和 PyramidKV 等免训练 KV 缓存压缩方法在预填充结束时逐出 token，旨在保留未来查询预期使用的注意力质量——即优化保留什么。我们表明这一目标在两个方面存在缺陷。(1) 补偿：恢复被逐出的注意力质量可以在注意力层面达到目标，却无法恢复任务质量。(2) 选择：当恢复的质量是碎片化的而非集中在连贯片段中时，覆盖更多真实解码查询质量反而会损害质量。这些缺陷有一个共同原因：逐出发生在决定答案轨迹的查询出现之前。我们提出 Draft-Guided Eviction（DGE），它将逐出推迟到使用完整缓存草拟前 k=2 个答案 token 之后——仅比预填充多一个解码步骤。由于草稿由答案自身的前缀生成，在这一轨迹信号可用之前不会丢弃任何缓存条目。每头缓存预算保持不变，且 DGE 可直接应用于 SnapKV、PyramidKV、H2O 和 StreamingLLM，无需修改其逐出分数。与额外遍历方法不同，DGE 改变的是逐出发生的时机，而非选择哪些缓存条目。大量实验表明，在六个指令微调主干中的五个上，DGE 在每个评估预算下均优于先前方法，在 LongBench 上达到 44.2，几乎与 FullKV 的 44.3 持平。仅改变时机的对照方法 DGE-W 取得了相同分数，表明增益来自逐出发生的时机而非选择的内容——我们将这一效应称为轨迹锚定。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.33334 [cs.LG] |
| （或使用 arXiv:2609.33334v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.33334 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Haeyong Kang [查看邮箱]
[v1]
2026年9月27日星期日 08:04:59 UTC（335 KB）
[v2]
2026年10月8日星期四 12:05:58 UTC（338 KB）
来源：arXiv cs.CL · arxiv.org