arXiv cs.CL· Junjie Peng, You Wu, Haoyi Wu, Jialong Han, Xiaohua Xie, Kewei Tu, Jianhuang Lai·· 11 小时前AI 评分31
GRKV：面向长上下文 LLM 的免训练 KV Cache 压缩全局回归方法
GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs
AI 导读
GRKV 是一种免训练的 KV Cache 合并方法，通过岭回归将淘汰 token 的信息分摊到保留 token 上，直接最小化压缩缓存与完整缓存注意力输出的差异。在 LongBench 和 RULER 长上下文基准上，GRKV 是唯一能在开销极小的前提下提升整体性能的合并方法。该工作已被 EMNLP 2026 主会接收，代码已开源。
正文 · AI 翻译
摘要：具有扩展上下文长度的大语言模型（LLM）依赖键值（KV）缓存来支持对先前 token 的注意力。然而，维护 KV 缓存会带来大量内存开销，这推动了通过驱逐与合并来强制固定预算的 KV 缓存压缩方法。现代驱逐方法越来越多地采用基于跨段的保留策略，因为保留连续跨段在经验上有效，并且能更好地保持语义连贯性。然而，当与驱逐后合并结合时，基于跨段的保留会将合并集中到少量跨段边界载体 token 上，产生高度不平衡的合并模式，从而加剧过度合并并增加信息损失。为解决这种不平衡，我们提出 GRKV（Global Regression for KV Cache），一种无需训练的 KV 缓存合并方法，它直接最小化压缩缓存与完整缓存注意力输出之间的差异。GRKV 使用基于岭回归的合并步骤，将来自被驱逐 token 的信息分布到保留 token 上，同时对更新进行正则化以防止过度平滑。在 LongBench 和 RULER 长上下文基准上，GRKV 是唯一一种以极小开销提升整体性能的合并方法。我们的代码可在 此 https URL 获取。
| Comments: | 已被 EMNLP 2026 Main 接收 |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.31105 [cs.CL] |
| （或 arXiv:2605.31105v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.31105 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junjie Peng [查看邮箱]
[v1]
2026年5月29日星期五 10:16:30 UTC（2,004 KB）
[v2]
2026年8月31日星期一 13:43:07 UTC（2,017 KB）
[v3]
2026年10月23日星期五 05:39:09 UTC（2,016 KB）
来源：arXiv cs.CL · arxiv.org