arXiv cs.AI· JianKun Zou, Tongtong Yuan·· 11 小时前AI 评分26
EchoKV：通过迭代查询反馈实现自纠正的 KV Cache 驱逐
EchoKV: Self-Corrective KV Cache Eviction via Iterative Query Feedback
AI 导读
EchoKV 提出一种自纠正的 KV cache 驱逐方法，通过迭代查询反馈修复工作区错误，解决查询与工作区耦合导致的驱逐决策偏差。该方法与 LAQ 使用相同数量的工作区前向传播，仅增加一次张量重打分操作。
正文 · AI 翻译
摘要：KV 缓存淘汰不仅仅是一个 token 排序问题：用于生成淘汰查询的工作区同样决定了这些查询的质量。因此，早期的工作区错误可能会扭曲后续的查询观测，并强化错误的最终淘汰决策，尤其是当证据分散在长上下文中时。我们提出 EchoKV，它通过迭代校正发现并解决这一失效模式。它利用未来解码位置上的提议初始化一个与反馈兼容的引导工作区，然后在剩余的前瞻步骤之前，使用早期解码生成的查询来恢复工作区。它使用与 LAQ 相同数量的工作区前向传播，同时增加一个张量重打分操作来修复工作区。在 LongBench（16 个任务，Mistral-7B-Instruct-v0.2 和 Qwen2.5-7B-Instruct）上，EchoKV 在若干需要分散证据的任务上相较 LAQ 表现出显著提升，包括多跳跨文档问答和长单文档理解。在不同预算和骨干模型下，EchoKV 有选择地提升证据密集型任务，同时在其余 LongBench 子集上保持相当的性能。这些结果将查询—工作区耦合确定为查询驱动 KV 淘汰的一种实际失效模式。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.05903 [cs.AI] |
| （或 arXiv:2611.05903v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05903 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiankun Zou [查看电子邮件]
[v1]
2026年11月4日星期三 03:52:59 UTC（619 KB）
来源：arXiv cs.AI · arxiv.org