arXiv cs.AI· Sasho Nedelkoski, Alexander Acker, Soeren Becker, Dominik Scheinert, Odej Kao·· 3 天前AI 评分24
E8 格点键量化实现低比特 KV-Cache 压缩
E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
AI 导读
研究者提出基于 E8 格点向量量化的 KV-Cache 压缩方法，用 2-bit 键加 2-bit 值的 k2v2 配置即可保持接近基线的质量。该方法在五种 LLM 系列上实现约 6 倍 KV 压缩，比标量 k3v2 小约 20%，并在 80% 的模型-数据集-上下文组合中困惑度优于标量 k3v2，同时解码吞吐与标量基线持平。
正文 · AI 翻译
摘要：压缩键值（KV）缓存对于在内存受限的情况下服务长上下文大语言模型（LLM）至关重要。虽然当前的标量量化方法实现了显著的压缩，但它们通常面临质量与保真度之间的权衡，要么在 2 比特精度下性能不稳定，要么需要 3 比特键来维持模型质量。在这项工作中，我们证明，通过使用基于 $E_8$ 格的矢量量化（VQ）对 KV 键进行量化，统一的低比特 k2v2 配置（2 比特键和 2 比特值）可以保持接近基线的质量。我们表明，结构化 VQ 利用相邻维度之间的相关性，在相同的键负载率下实现了高于独立标量量化的信号量化噪声比（SQNR）。为确保实用性，我们采用了一种基于表的非对称评分算法，该算法在注意力计算期间避免了显式的码本反量化，并保持了与标量基线相当的解码吞吐量。在五个 LLM 系列中，我们的 $E_8$ k2v2 方法实现了 \textasciitilde$6\times$ 的 KV 压缩，比标量 k3v2（3 比特键和 2 比特值）大约小 20\%，同时保持了接近基线的长上下文困惑度。在我们的全套困惑度评估中，$E_8$ 在 80\% 的模型—数据集—上下文设置中优于标量 k3v2。这些结果表明，$E_8$ 格 VQ 在保持吞吐量相当的同时提高了每字节质量，表明结构化键量化是 KV 压缩栈的一个有用原语。总体而言，我们的工作为扩展长上下文 LLM 推理中的质量—内存前沿提供了一个低开销原语。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15384 [cs.LG] |
| （或 arXiv:2610.15384v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15384 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sasho Nedelkoski [查看电子邮件]
[v1]
2026年10月11日星期日 06:22:28 UTC（94 KB）
来源：arXiv cs.AI · arxiv.org