arXiv cs.CL· Neha Verma, Sungwon Kim, Kenton Murray, Kevin Duh·· 9 天前AI 评分25
VFold：对称感知的跨层 Value Cache 压缩
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
AI 导读
研究者提出 VFold，一种对称感知的 value cache 合并策略，可在解码时降低 KV cache 内存占用，且无需改动 LLM 架构、不带来明显性能损失。该方法还能与高比例量化或 key cache 剪枝等现有压缩技术叠加，达到单一方法无法实现的压缩比，额外开销极小。
正文 · AI 翻译
摘要：缓存键值（KV）状态虽然能加速大语言模型（LLM）的解码，但在长上下文长度下，该缓存可能主导内存占用。一种解决方案是利用层间缓存相似性来压缩这部分内存。然而，大多数现有技术需要对 LLM 进行架构修改，并带来大量开销。在本工作中，我们提出了一种对称感知的值缓存合并策略，在减少缓存内存的同时，避免解码过程中有害的性能下降和架构开销。此外，我们表明该方法可与现有缓存压缩技术结合使用，与高比率量化或键缓存剪枝组合，达到任一方法单独无法达到的压缩率，且额外成本极小。最终，我们的发现揭示了值缓存中一个未被充分利用的容量来源，为在内存受限下扩展上下文窗口提供了一个简单却极为有效的方向。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12338 [cs.CL] |
| （或 arXiv:2610.12338v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12338 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Neha Verma [查看邮箱]
[v1]
2026年10月8日星期四 17:14:28 UTC（251 KB）
来源：arXiv cs.CL · arxiv.org