arXiv cs.AI· Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Bing Li, Ulf Schlichtmann·· 14 小时前AI 评分38
KV Packet：面向 LLM 的免重计算、上下文无关 KV 缓存
KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs
AI 导读
KV Packet 是一种免重计算的 KV 缓存复用框架，将缓存文档视为不可变的“packet”，并用轻量可训练软 token 适配器包裹，通过自监督蒸馏弥合上下文不连续。在 Llama-3.1 和 Qwen-3 上的实验显示，该方法实现近零 FLOPs，TTFT 低于基于重计算的基线，同时 F1 分数与完全重计算基线相当。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：大型语言模型（LLM）严重依赖键值（KV）缓存来降低推理延迟。然而，标准 KV 缓存依赖于上下文：在新上下文中复用已缓存的文档时，需要重新计算 KV 状态，以应对注意力分布的变化。CacheBlend、EPIC 和 SAM-KV 等现有方案通过选择性地重新计算部分 token 来缓解这一问题；但它们仍会带来不可忽视的计算开销（FLOPs）和首 token 延迟（TTFT）的增加。本文提出 KV Packet，一种无需重新计算的缓存复用框架，它将缓存文档视为不可变的“数据包”，并用轻量级可训练的软 token 适配器包裹，这些适配器通过自监督蒸馏训练，以弥合上下文的不连续性。在 Llama-3.1 和 Qwen-3 上的实验表明，所提出的 KV Packet 方法实现了接近零的 FLOPs，且 TTFT 低于基于重新计算的基线，同时保持了与完全重新计算基线相当的 F1 分数。代码和实验结果可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收。18 页，包括参考文献和附录。已更新为 camera-ready 内容，并增加了额外实验 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.13226 [cs.LG] |
| （或 arXiv:2604.13226v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.13226 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chuangtao Chen [查看邮箱]
[v1]
2026 年 4 月 14 日星期二 18:50:47 UTC（779 KB）
[v2]
2026 年 4 月 17 日星期五 02:14:01 UTC（778 KB）
[v3]
2026 年 10 月 25 日星期日 13:55:56 UTC（966 KB）
来源：arXiv cs.AI · arxiv.org