arXiv cs.CL· Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas·· 11 小时前AI 评分34
LowRAM：用低秩键与摊销值实现可组合的测试时 KV cache 压缩
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
AI 导读
LowRAM 提出一种非对称 KV cache 压缩流程，将跨层低秩键压缩与值缓存摊销结合，在三个模型家族上接近无损。其值摊销在测试时为每个注意力头拟合轻量预测器、仅存重建最差 token 的残差，实现 4× 近无损值压缩；4× 压缩下峰值解码吞吐最高提升 5×。LowRAM 还可与量化、驱逐组合，在长上下文下达到 26.9× 压缩并保留基线 94.5% 的性能。
正文 · AI 翻译
摘要：自回归解码依赖 KV 缓存，其内存占用随上下文长度线性增长，并限制了批大小和吞吐量。现有的后训练方法利用 token、层和特征维度上的冗余，或降低数值精度。我们发现了一个互补的维度：在每个注意力头内，值在很大程度上可由其对应的键预测。我们利用这一点进行值缓存摊销，在测试时拟合一个轻量级的逐头预测器，并仅为其重建效果最差的 token 存储残差，从而实现 $4\times$ 的近无损值压缩。该预测器可通过元学习初始化以大幅降低预填充开销，或在允许一次性开销的场景（如多查询推理）中从头拟合。我们将值摊销与跨层低秩键压缩相结合，构建了 LowRAM，这是一种非对称压缩流水线，在三个模型系列上均保持接近无损。通过在每个解码步骤仅重建选定的 KV 对子集，LowRAM 可将解码开销保持在最低水平，并在 $4\times$ 压缩下实现最高 $5\times$ 的峰值解码吞吐量。LowRAM 还可与量化和驱逐组合，在长上下文下以基线性能的 $94.5\%$ 达到 $26.9\times$ 压缩。这些结果表明，将键和值视为结构上不同的对象，可实现高效、激进且可组合的 KV 缓存压缩。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07025 [cs.LG] |
| （或 arXiv:2611.07025v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07025 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Teresa Delgado De Las Heras [查看电子邮件]
[v1]
2026年11月4日星期三 19:00:06 UTC（228 KB）
来源：arXiv cs.CL · arxiv.org