arXiv cs.AI· Suhas Kumar Morisetty, Vaibhavi Lokegaonkar, Sachin Mathew Varghese, Wesley Harris·· 11 小时前AI 评分31
WAKMan：负载感知的 KVCache 管理器
WAKMan: Workload Aware KVCache Manager
AI 导读
WAKMan 是一个负载感知的 KV cache 管理器，无需知道请求类型或读取提示词，即可根据实时流量选择淘汰策略，平均将命中率较 LRU 提升 5 个百分点，并在所有策略中取得最低的平均与最差情况最优性差距。
正文 · AI 翻译
摘要：前缀缓存使大型语言模型（LLM）服务器能够复用键值（KV）状态，并加速与先前提示共享前缀的请求的预填充计算阶段，从而降低延迟和服务成本。在内存资源有限的情况下，KV 缓存淘汰策略成为决定前缀缓存整体收益的决定性因素。生产流量可能包含单轮、多轮、代理式，或这些请求类型的任意混合。我们的发现表明，代理式步骤在数秒内返回，偏好新近性；而热门提示和长对话在经历许多其他请求后才返回，偏好频率。在 20 种混合场景中，没有单一策略始终最优：在代理式为主的混合场景中，vLLM 的默认策略 LRU 相比面向频率的 S3FIFO 提供高 12% 的缓存命中率，但在其他场景中落后最多 22%，甚至单个工作负载参数就能在任何特定混合场景中翻转胜者。我们提出 WAKMan，一种工作负载感知的 KV 缓存管理器，它从实时流量中选择淘汰策略，而无需知道请求类型或读取提示。它相比 LRU 平均将命中率提高 5 个百分点，在所有策略中具有最低的平均和最坏情况最优性差距。
| Comments: | 在 Capital One 实习期间完成的工作 |
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36355 [cs.AI] |
| （或 arXiv:2610.36355v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36355 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vaibhavi Lokegaonkar [查看电子邮件]
[v1]
2026年10月26日星期一 22:19:37 UTC（502 KB）
来源：arXiv cs.AI · arxiv.org