arXiv cs.CL· Tho Mai, Joo-Young Kim·· 10 小时前AI 评分35
LaProx：将 KV Cache 驱逐重构为输出感知的层级矩阵乘法近似问题
Reformulating KV Cache Eviction Problem for Long-Context LLM Inference
AI 导读
研究者提出 LaProx，将 KV Cache 驱逐从逐头权重平均重构为输出感知的层级矩阵乘法近似问题，显式建模注意力图与投影 value 状态之间的乘性交互，并给出首个为 token 分配全局可比重要性分数的统一驱逐策略。
正文 · AI 翻译
摘要：大语言模型（LLM）支持长上下文推理，但由于键值（KV）缓存增长，会带来大量内存和运行时开销。现有的 KV 缓存淘汰方法主要依赖局部注意力权重，忽略了值表示、输出投影以及头间交互的影响。在本工作中，我们将 KV 缓存淘汰从传统的逐头、权重平均方法重新表述为输出感知的逐层矩阵乘法近似问题。我们提出了 LaProx，一种新颖的淘汰策略，它显式建模注意力图与投影值状态之间的乘法交互，以在考虑头间依赖关系的同时准确量化 token 贡献。基于该度量，我们提出了首个统一淘汰策略，为 token 分配全局可比较的重要性分数，从而实现模型级选择，而非局部的逐头决策。在长上下文基准 LongBench 和 Needle-In-A-Haystack 上 19 个数据集上的实验结果表明，我们的方法在仅保留 5% KV 缓存的情况下维持了模型性能，并在所有配置下持续优于先前工作。值得注意的是，与现有最先进基线相比，我们的方法在极端压缩场景下以极小开销实现了最高 2$\times$ 的准确率损失降低。我们的代码可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.07234 [cs.CL] |
| （或 arXiv:2605.07234v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.07234 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tho Mai [查看邮箱]
[v1]
2026年5月8日星期五 04:37:22 UTC（422 KB）
[v2]
2026年11月6日星期五 14:10:30 UTC（423 KB）
来源：arXiv cs.CL · arxiv.org