arXiv cs.AI· Junyoung Park, Jungwook Choi, Mingu Lee·· 10 天前AI 评分23
ValueDiff：面向弱注意力汇 LLM 的值几何 KV cache 淘汰方法
ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs
AI 导读
ValueDiff 是一种基于值向量几何的 KV cache 淘汰方法，按 value 向量相对缓存均值的 L2 偏差对 token 排序，在弱注意力汇模型上替代依赖注意力汇的既有方案。
正文 · AI 翻译
摘要：具有 QK 归一化、门控注意力、可学习注意力汇或 logit 软上限的现代 LLM 表现出较弱的持续注意力汇，而现有的 KV 缓存驱逐方法主要依赖这些注意力汇。我们观察到，在这些模型中，较弱的汇与相对于键向量离散度更大的值向量离散度同时出现。受这种值侧离散度的启发，我们提出了 ValueDiff，一种值几何驱逐方法，它根据 token 的值向量与缓存均值的 L2 偏差对其进行排序。在关于未来注意力的最大熵假设下，相同的分数也作为最小扰动驱逐出现。我们在固定缓存预算下进行评估，在预填充期间在每个块边界处进行驱逐，在生成期间在每个解码步骤进行驱逐。在 RULER 上，在紧张的 2k token 预算下，ValueDiff 在七个汇抑制模型上保留了 88-99% 的稠密性能（在 7 个中的 6 个上表现最佳）。在 LongBench 上，在 4k 预算下，ValueDiff 在汇抑制模型上平均保留 92%，而最强的先前基线为 83%。在 MATH-500 上，在 25% 缓存预算下，ValueDiff 是每个测试的汇抑制模型上最强的非稠密方法，在门控注意力模型上比先前方法高出最多约 20 分。在所有三个基准上，值几何成为汇抑制模型更可靠的查询不变驱逐信号。
| 评论： | 10 页，3 图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.23314 [cs.LG] |
| （或 arXiv:2609.23314v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.23314 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Junyoung Park [查看电子邮件]
[v1]
2026 年 9 月 20 日星期日 03:03:33 UTC（385 KB）
[v2]
2026 年 10 月 6 日星期二 05:54:19 UTC（385 KB）
来源：arXiv cs.AI · arxiv.org