跳到正文
arXiv cs.CL· Seojin Kim, Noseong Park·· 10 小时前AI 评分34

PRKV:基于全局重要性估计的 KV Cache 驱逐方法

Global Importance Estimation for KV Cache Eviction

AI 导读

PRKV 是一种免训练的 KV cache 驱逐方法,通过在注意力诱导的转移图上运行 Personalized PageRank 来估计多跳全局 token 重要性,无需修改模型即可让重要性传播超越近因或瞬时注意力。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:键值(KV)缓存的显存消耗仍是长上下文 LLM 推理的核心瓶颈。我们提出 PRKV,一种无需训练的 KV 驱逐方法,通过在注意力诱导的转移图上应用个性化 PageRank 来估计多跳全局 token 重要性。这使得重要性传播能够超越近期性或瞬时注意力,且无需修改模型。我们在长上下文理解、稀疏检索和思维链推理任务上使用多个 LLM 系列对 PRKV 进行了基准测试。在中等到激进的压缩比下(包括高达 90%),PRKV 在降低峰值显存使用且端到端开销较低的同时,取得了与现有驱逐基线相当的任务性能。这些结果表明,多跳全局影响估计为可扩展的长上下文推理带来了有利的精度—显存权衡。
评论: 第 40 届神经信息处理系统大会(NeurIPS 2026)
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.24969 [cs.CL]
  (或 arXiv:2611.24969v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24969

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Seojin Kim [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 02:29:03 UTC(5,004 KB)

来源:arXiv cs.CL · arxiv.org