arXiv cs.CL· Taiga Ikeda, Daisuke Miyashita, Jun Deguchi·· 6 天前AI 评分38
KV-Repurpose：评估非前缀 KV-Cache 复用的测试平台
KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
AI 导读
基于 vLLM 的开源系统 KV-Repurpose 用于开发和评估超越精确前缀的分段式 KV-cache 复用。在 Zipfian RAG 式负载（20% 请求共享固定前缀）下，30 GB 缓存容量时其 token 级缓存命中率达 63.9%，而前缀缓存仅 3.3%，TTFT 更低；即便缓存容量扩至 1 TB，前缀缓存命中率也只有 17.9%。
正文 · AI 翻译
摘要：大型语言模型服务中的 KV 缓存复用通常局限于精确的提示前缀，当同一检索文档出现在不同的系统提示、对话历史或动态元数据之后时，便无法复用。我们提出 KV-Repurpose，一个基于 vLLM 的开源系统，用于开发和评估超越精确前缀的按段 KV 缓存复用。该系统结合了缓存感知的段调度、提示构建、容量管理、工作负载生成和运行时监控。在长上下文基准上的实验表明，朴素的段复用在单文档问答和摘要任务中基本能保持输出质量，但在跨文档推理中暴露出明显的局限性。在 Zipfian RAG 风格的工作负载中，20% 的请求共享固定前缀，KV-Repurpose 在相同的 30 GB 缓存容量下实现了显著高于前缀缓存的 token 级缓存命中率，分别为 63.9% 和 3.3%，从而降低了 TTFT。即使缓存容量达到 1 TB，前缀缓存在该工作负载中也只能达到 17.9% 的命中率。源代码以 Apache-2.0 许可证发布于 此 https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13060 [cs.CL] |
| （或 arXiv:2610.13060v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13060 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Taiga Ikeda [查看邮箱]
[v1]
2026年10月9日星期五 06:17:10 UTC（844 KB）
来源：arXiv cs.CL · arxiv.org