arXiv cs.CL· Amirhossein Abaskohi, Giuseppe Carenini, Peter West, Yuhang He·· 11 小时前AI 评分34
SeKV：面向长上下文 LLM 推理的分辨率自适应 KV Cache
SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
AI 导读
SeKV 是一种分辨率自适应 KV Cache，通过训练好的 zoom-in 机制在解码时决定将哪些压缩片段恢复到 token 分辨率，基础 LLM 保持冻结，路由器新增参数不到 0.1%。
正文 · AI 翻译
摘要：大语言模型越来越多地在长上下文上运行，此时 KV 缓存随序列长度线性增长，并在解码期间主导内存占用。Token 驱逐会永久丢弃条目，而语义压缩在预填充阶段就固定了每个单元的分辨率，因此之后才变得相关的细节无法恢复。我们提出 SeKV，一种分辨率自适应的 KV 缓存，其核心是一个经过训练的放大机制，在解码时决定将哪些压缩片段恢复到 token 分辨率。SeKV 在高惊奇度位置对上下文进行分段，将锚点 token 和片段摘要保留在 GPU 上，并将每个片段键和值的低秩因子卸载到 CPU。轻量级的逐头路由器选择与查询相关的片段，这些片段以学习到的逐片段秩进行重建。该缓存是有损但不驱逐的：每个片段都保留在注意力中，无论是粗粒度还是重建后的。基础 LLM 保持冻结，路由器增加的参数不到 0.1%。在 10% GPU 常驻 KV 预算下，跨五个骨干模型和四个基准测试，SeKV 优于所有在预填充阶段固定分辨率的方法，比最强的语义基线高出 2.9 分（相对提升 5.5%）。它在 LongBench 和 InfiniteBench 上与精确召回卸载缓存持平，在合成精确检索上略逊，但每个解码步骤传输的数据比 ShadowKV 少 3 倍，并且在我们分析的方法中总内存占用最低。在 128K 上下文下，相对于完整 KV 缓存，它将峰值 GPU 内存减半，总内存减少三分之一。
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2606.31145 [cs.CL] |
| （或 arXiv:2606.31145v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.31145 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Amirhossein Abaskohi [查看邮箱]
[v1]
2026年6月30日星期二 05:18:02 UTC（623 KB）
[v2]
2026年11月4日星期三 22:08:49 UTC（281 KB）
来源：arXiv cs.CL · arxiv.org