galahad-kv 让 LLM 复用 5000 万 token KV 状态，比重新计算更快更省电

查看 PDF HTML（实验性）

摘要：大语言模型只能使用其上下文窗口内的文本，并且每次发送提示时都会为提示重新计算其内部键值（KV）状态。我们测试了一个记忆层，即公开软件包 galahad-kv，它将每个约 16,000 个 token 的块的 KV 状态保存到加密的本地 NVMe 磁盘，之后以字节精确的方式加载回来，而无需重新计算。我们在 50,000,000 个 token 的真实公开文本上运行了它，通过 vLLM 在一张 NVIDIA H100 上提供服务，使用 Gemma 4 12B 和 Gemma 4 31B。我们探测的每个块都从加密存储中加载回来，没有重新计算（100 个中的 100 个，深度从 0 到 50M token），两个模型均如此。加载一个块比重新计算它快 2.8 倍到 4.3 倍，并且使用的 GPU 能耗少 8.8 倍到 12.3 倍，而且在整个 50M token 流中 GPU 内存保持平稳。当被问及数百万个 token 之前植入的事实时，12B 模型在 100 次中给出了 82 次正确答案，31B 模型在 100 次中给出了 98 次正确答案。两个模型都没有编造答案。限制如下。这是对已存储状态的重用，而不是更宽的注意力窗口：一次只加载一个块，并且问题回答得如何取决于模型。写入记忆是一次性成本，而存储需要数 TB 的本地 NVMe 磁盘。我们描述了测试协议，该协议旨在抵御常见的操纵长上下文基准测试的方式，并给出了使用公开软件和该软件包免费许可证的单 GPU 复现。

主题：	计算与语言（cs.CL）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG）
引用为：	arXiv:2610.10845 [cs.CL]
	（或 arXiv:2610.10845v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.10845 arXiv 颁发的 DOI，通过 DataCite（待注册）

提交历史

来自：Sietse Schelpe [查看电子邮件]
[v1] 2026 年 10 月 7 日星期三 19:50:53 UTC（11 KB）