跳到正文
arXiv cs.CL· Kushagra Bainsla·· 23 小时前AI 评分38

Gemma 4 31B 的 K=V 缓存只存一份:vLLM 分页引擎中的全局 KV 显存节省

Storing the Gemma 4 K=V Cache Once: Exact Global-KV Memory Savings in a Paged Serving Engine with Unchanged Attention Kernels

AI 导读

针对 Gemma 4 31B 全局注意力层中 value 即归一化 key 投影的结构,该研究在 vLLM 原型中只存一行 640 个值,由未改动的分页注意力内核通过两个重叠的跨步视图分别读取 key 与 value 缓存。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在 Gemma 4 31B 的全局注意力层中,value 是归一化后的 key 投影,而 key 是按固定权重缩放后的 value,并在其四分之一维度上施加旋转位置编码。Gemma 4 报告称,该设计可将全局 KV 缓存最多减少 37.5%,但我们检查过的开源服务引擎仍然存储完整的 key 和完整的 value:每个 KV 头和每个 token 存储 1,024 个值。我们改为存储一行 640 个值,在实数运算下精确,而未改动的分页注意力内核通过两个重叠的跨步视图将其分别作为 key 缓存和 value 缓存读取。在采用 16 位 31B 模型的 vLLM 原型中,输出与在标准缓存上对相同运算的模拟逐位一致,432 个最终答案中有 2 个与标准引擎不同(在其运行间噪声范围内),并且在 32K 至 64K token 时,每请求的稳态解码 KV 内存下降为原来的 1/1.34 至 1/1.40。在配备 NIXL 传输和 CPU 卸载的两块 A100 GPU 的 prefill/decode 组合上,拥有完整 15 GiB 池的解码引擎在 16K token 提示下每步运行的解码 token 数为标准引擎的 1.38 倍(重复测量至 0.06%),在 8K token 提示下为 1.24 倍;vLLM 块池模型对这两个比率的预测误差在 1% 以内(引擎高出 0.7% 至 0.9%),并与其间的变化相符。eager 解码吞吐量分别提升 1.30 倍和 1.11 倍,且在此路径上,紧凑引擎在 batch 1 下对 8 个提示给出的输出 token 与模拟相同。运行时原型在相同 batch 下使 eager 步骤慢 4% 至 9%,且该方法在默认规模下尚不能与 8 位 KV 缓存叠加。
评论: 21 页,4 幅图,3 张表
主题: 机器学习(cs.LG);计算与语言(cs.CL);分布式、并行与集群计算(cs.DC)
引用为: arXiv:2611.23035 [cs.LG]
  (或本版本的 arXiv:2611.23035v1 [cs.LG])
  https://doi.org/10.48550/arXiv.2611.23035

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Kushagra Bainsla [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 16:36:28 UTC(78 KB)

来源:arXiv cs.CL · arxiv.org