arXiv cs.CL· Seojin Kim, Noseong Park·· 10 小时前AI 评分34
PRKV:基于全局重要性估计的 KV Cache 驱逐方法
Global Importance Estimation for KV Cache Eviction
AI 导读
PRKV 是一种免训练的 KV cache 驱逐方法,通过在注意力诱导的转移图上运行 Personalized PageRank 来估计多跳全局 token 重要性,无需修改模型即可让重要性传播超越近因或瞬时注意力。
正文 · AI 翻译
摘要:键值(KV)缓存的显存消耗仍是长上下文 LLM 推理的核心瓶颈。我们提出 PRKV,一种无需训练的 KV 驱逐方法,通过在注意力诱导的转移图上应用个性化 PageRank 来估计多跳全局 token 重要性。这使得重要性传播能够超越近期性或瞬时注意力,且无需修改模型。我们在长上下文理解、稀疏检索和思维链推理任务上使用多个 LLM 系列对 PRKV 进行了基准测试。在中等到激进的压缩比下(包括高达 90%),PRKV 在降低峰值显存使用且端到端开销较低的同时,取得了与现有驱逐基线相当的任务性能。这些结果表明,多跳全局影响估计为可扩展的长上下文推理带来了有利的精度—显存权衡。
| 评论: | 第 40 届神经信息处理系统大会(NeurIPS 2026) |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24969 [cs.CL] |
| (或 arXiv:2611.24969v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24969 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Seojin Kim [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 02:29:03 UTC(5,004 KB)
来源:arXiv cs.CL · arxiv.org