arXiv cs.CL· Jang-Hyun Kim, Dongyoon Han, Sangdoo Yun·· 14 小时前AI 评分38
Fast KVzip：用门控 KV 驱逐实现高效准确的 LLM 推理
Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction
AI 导读
Fast KVzip 提出一种基于门控的 KV cache 驱逐方法，可在冻结权重 LLM 上驱逐最多 70% 的 KV cache，同时保持接近无损的性能。该方法引入轻量 sink-attention 门控模块识别并保留关键 KV 对，可无缝接入 prefill 与解码阶段，门控训练仅依赖前向传播、无需反向传播。
正文 · AI 翻译
摘要：高效的键值（KV）缓存管理对于大语言模型（LLM）的实际部署至关重要，然而现有的压缩技术往往需要在性能下降与计算开销之间做出权衡。我们提出了一种面向冻结权重 LLM 的基于门控的新型 KV 缓存淘汰方法，能够以可忽略的计算成本实现高压缩比。我们的方法引入轻量级的 sink-attention 门控模块来识别并保留关键的 KV 对，并可无缝集成到预填充和解码阶段。所提出的门控训练算法依赖 LLM 的前向传播，避免了昂贵的反向传播，同时通过任务无关的重建目标实现强大的任务泛化能力。在 Qwen2.5-1M、Qwen3 和 Gemma3 系列上的大量实验表明，我们的方法在淘汰高达 70% 的 KV 缓存的同时保持了近乎无损的性能。该结果在包括长上下文理解、代码理解和数学推理在内的广泛任务上保持一致，证明了我们方法的通用性。
| 评论： | NeurIPS 2026。源代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2601.17668 [cs.LG] |
| （或 arXiv:2601.17668v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.17668 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jang-Hyun Kim [查看电子邮件]
[v1]
2026年1月25日周日 03:07:54 UTC（139 KB）
[v2]
2026年2月9日周一 04:41:18 UTC（140 KB）
[v3]
2026年10月25日周日 16:41:39 UTC（198 KB）
来源：arXiv cs.CL · arxiv.org