跳到正文
AWS Machine Learning Blog· Ravi Yadav·· 2 天前AI 评分58

用分布式 KV 缓存 Agent Skill 降低自托管 LLM 成本与延迟

Cut self-hosted LLM cost and latency with the distributed KV caching agent skill

AI 导读

AWS 在 Agent Toolkit for AWS 中推出分布式 KV 缓存技能,可在 Kiro、Claude Code、OpenAI Codex 等编码智能体中通过几轮提示完成评估与配置。

正文 · AI 翻译

客户越来越多地在 GPU 上自托管大语言模型(LLM),以便掌控成本、准确性和延迟。然而,自托管往往意味着要为冗余的 GPU 计算付费,因为每台服务器上小而孤立的缓存无法容纳或共享 AI 智能体和聊天应用不断重发的、日益增长的上下文。设想一个法律 AI 助手,它能在每次对话中累积数十万个 token 的案件历史。当律师午餐后回到某个对话线程时,LLM 的响应可能需要数分钟。接手该请求的 GPU 服务器内存中完全没有这段历史。因此,GPU 会在写出一个字之前,为所有这些 token 重新计算键值(KV)注意力状态,这一步骤称为 prefill。同样的模式也会拖慢恢复运行的编码智能体、智能体式 AI 助手和文档问答助手。使用 Amazon ElastiCache 的分布式 KV 缓存可将自托管 LLM 推理成本降低最多 40%,并将首 token 时间(TTFT)缩短最多 80%。分布式 KV 缓存通过在 GPU 集群旁增加一个共享层来扩展 GPU 本地缓存,使任何服务器都能在数天内跨会话、路由变化和服务器故障复用 KV 状态。“宣布为自托管 LLM 提供基于 Amazon ElastiCache 的分布式 KV 缓存”深入介绍了技术细节和性能基准。

本文详细介绍 Agent Toolkit for AWS 中的分布式 KV 缓存技能。借助该技能,你只需几个提示词,就能在编码智能体内评估并设置分布式 KV 缓存。该技能会引导智能体检查你的工作负载是否受益于分布式 KV 缓存、为测试或生产工作负载设置缓存集群,并对你的 LLM 推理缓存进行故障排查。该技能可与 Kiro、Claude Code、OpenAI Codex 以及其他支持 Agent Skills 的编码智能体配合使用。我们通过四段对话来演示该技能的工作方式:诊断缓慢的首 token、确定缓存容量与定价、进行设置,以及修复失败的传输。

为什么需要 KV 缓存技能,它能做什么?

你的工作负载能获得多少收益,取决于所用 LLM 模型、用户流量模式和提示词路由选择等特征,且可能难以估算。我们创建了 KVTrace 工具,可在部署任何基础设施之前,基于你自己的模型和流量,免费为你的工作负载提供接近实际的收益估算。该技能简化了这一评估和设置过程,并在做出任何更改之前,引导你的编码智能体遵循以下最佳实践:

  • 花钱之前先做适配检查。智能体通过只读的 describe-instances 调用读取你的 GPU 集群,并统计 Elastic Fabric Adapter(EFA)接口数量。它只询问自己看不到的信息:引擎、模型、张量并行(TP)大小、KV 数据类型、服务器价格以及提示词重复的频率。当某些条件不匹配时,它会停下来并作出解释。
  • 基于你的工作负载得出数字。对于短提示词,加载 KV 状态可能比重新计算更耗时。超过某个提示词长度(切换点)后,读取更划算。该切换点以及提示词的重复频率,决定了缓存是否值这个价。智能体使用 KVTrace 基于你自己的流量免费估算节省额,如果节省额不足以覆盖缓存成本,它就会停止。每个数字都会说明其来源。
  • 用你现有的技术栈管理推理服务器之间的配置。该 agent 将 LMCache 连接器添加到现有的 vLLM 或 SGLang 引擎中,包括 llm-d 和 Ray Serve 等 serving 框架下的 vLLM worker。它保留你的路由和引擎设置,并将推理集群中的服务器统一为一种 KV ID 机制(hash 和 seed)以及显式的 KV 数据类型。一致的设置可避免键不匹配,即每台服务器写入的 KV 状态其他服务器找不到。
  • 实现最佳实践。在生产流量到来之前,该 agent 会清空本地层级,并检查两次缓存加载的运行是否产生相同输出,因为布局不匹配可能产生看似正常的命中计数和错误答案。该 skill 会引导 agent 对创建、更改或删除资源等高影响操作寻求明确批准。

先决条件

这些流程从估算收益到设置,需要以下条件:

  • 支持 Agent Skills 的编码 agent,例如 Kiro 或 Claude Code。
  • 支持 EFA RDMA 写入的 GPU 实例,例如 p5。
  • LMCache 0.5.8rc1 或更高版本,以及 vLLM 0.11.1 或更高版本(SGLang 0.5.13 或更高版本)。
  • ElastiCache for Valkey 9.1 或更高版本,运行在 cache.i8ge.48xlarge 节点上(如果设置缓存)。

流程 1:分布式 KV 缓存是否有帮助?

我们给该 agent 提供了这个提示:“我的 vLLM 集群在 p5 实例上为法律助手提供 64K token 上下文的推理服务。返回对话时首 token 需要 13 秒,因为 GPU 每一轮都会重新计算完整的对话历史。我该如何解决这个问题?”

该 agent 将请求匹配到该 skill,并在 Kiro 中加载前请求批准。答案指出延迟由冷 prefill 引起,答案中有三点对真实部署很重要。第一,它检查无需新基础设施的修复方法。如果你关闭了前缀缓存,重新开启可以加速连续多轮对话。如果 GPU 前缀缓存命中率在会话亲和性下已超过 90%,你可能不需要共享 KV 缓存。第二,它识别出法律 AI 助手特有的约束。共享 KV 缓存可能让一个租户根据响应时间判断另一个租户是否发送了相同文本。必须保持隔离的用例使用独立缓存,共享缓存的租户在 KV hash 中加入自己的 ID。第三,它不猜测规模。它会询问模型和 TP 大小、KV 数据类型、副本数量和路由,以及用户在多轮对话之间等待多长时间。

Diagram of the agent’s diagnosis and the proposed distributed KV caching architecture for the legal assistant

图 1:法律助手的诊断和建议架构

流程 2:估算节省

为了估算节省,我们给该 agent 提供了一个示例集群:8 个 p5 实例,为多轮检索增强生成(RAG)助手提供 64,000 token 提示的推理服务。该 agent 查询了 GPU 和缓存节点价格,并从基准测试中推导出 prefill 速率和 KV 大小。最后,该 agent 建议使用两个 cache.i8ge.48xlarge 节点进行分布式 KV 缓存。下图展示了该 agent 的摘要及其使用的输入。

The agent’s cost summary showing the GPU and cache node prices it looked up and the two recommended cache.i8ge.48xlarge nodes

图 2:该 agent 的摘要和输入。它在 AWS 价格列表中查询了两项价格,并解释了如何得出重算数值

我们没有提供缓存命中率,即缓存将服务的重算 token 所占的比例。因此,该 agent 会呈现各种场景,并建议运行 KVTrace 来确定缓存命中率。KVTrace 记录来自 vLLM 或 SGLang 的 KV 缓存事件,然后针对每个候选大小的共享 KV 缓存离线重放这些事件。记录器从不写入 token ID 或提示文本。跟踪记录保存块哈希和 token 计数。块哈希来自 token 内容,因此当你的提示内容敏感时,请传入 --anonymize-key-file。该技能会在每个 GPU 服务器上记录一个有代表性的时间窗口,例如一个完整的工作日。该 agent 还指出,只有当你减少服务器数量,或在相同服务器上服务更多流量时,释放的 GPU 时间才会转化为金钱。

KVTrace report showing net savings at four cache hit shares, TTFT benchmarks, and the recommended shard count

图 3:来自合成演示流量的 KVTrace 报告顶部。它推荐了能达到节省上限 90% 的最小容量。

流程 3:设置分布式 KV 缓存

我们向该 agent 提出了这样的提示:“从零开始,为 LLM 推理设置一个共享 L2 KV 缓存。”在创建任何内容之前,该 agent 会请求你确认,在你的可用区中按预估价格设置建议的缓存节点数量。确认后,它会创建具有 EFA 权限的正确安全组,以及一个使用带缓存逐出策略的自定义参数组的 Valkey 9.1 集群。LMCache 获得自己的缓存用户,密码存放在 AWS Secrets Manager 中。该 agent 会准备 GPU 服务器,并在每台 GPU 服务器上启动一个 LMCache 服务器。然后它用一个小的测试对象检查集群,并确认重复的提示会通过远程直接内存访问(RDMA)从缓存加载其 KV 状态。在 GPU 集群上,该技能会将测得的 L2 占比与 KVTrace 的预测进行对比。有关包含每条命令的完整设置,请参阅 Amazon ElastiCache 文档中的分布式 KV 缓存入门。

流程 4:故障排查

提示:“我的 LMCache 服务器连接到 ElastiCache 集群,且 BLOB.RDMA_HELLO 成功,但实际数据传输失败。INFO largeobj 显示 rdma_write_errors 持续上升。哪里出了问题?”

按照该技能的故障排查指南,该 agent 根据症状模式进行推理,并将可能的原因识别为安全组阻止了其自身成员之间的 EFA 流量。它为你提供了检查和修复该规则的命令。

The agent’s troubleshooting answer: the most likely cause is a missing self-referencing egress rule. It explains why HELLO succeeds while RDMA transfers fail, gives a describe-security-groups command to check the rules and authorize-security-group-egress and ingress commands to fix them, and lists four checks to run if the rules are already correct.

图 4:该 agent 解释症状,然后给出检查和修复安全组的命令

开始使用

你可以从 Agent Toolkit for AWS 获取分布式 KV 缓存技能或 AWS MCP Server。然后描述你的问题,或让你的 AI agent 降低 GPU 集群的成本和延迟,即可开始使用。要了解有关使用 ElastiCache 的分布式 KV 缓存以及性能基准的更多信息,请参阅AWS 博客。你可以在 Amazon ElastiCache 文档中查看 AWS 命令行界面(AWS CLI)入门,并在 GitHub 仓库中了解有关 KVTrace 的更多信息。


关于作者

Ravi Yadav

Ravi Yadav

Ravi 是 AWS 的全球首席专家,负责领导数据与 AI 的市场推广工作。在加入 AWS 之前,Ravi 曾在 Moody’s、Mesosphere、IBM 和 Cerner 从事产品管理、战略和工程工作。

Neeraj Ramachandran

Neeraj Ramachandran

Neeraj 是 Amazon ElastiCache 的软件开发工程师。他是 valkey-large-object 模块的维护者,专注于为内存数据存储开发分布式系统。他此前在 Amazon Managed Streaming for Apache Kafka(Amazon MSK)从事数据流相关工作。

Chaitanya Nuthalapati

Chaitanya Nuthalapati

Chaitanya 是 AWS 内存数据库服务的高级技术产品经理,专注于 Amazon ElastiCache for Valkey。此前,他利用生成式 AI、机器学习和图网络构建解决方案。工作之余,Chaitanya 忙于收集各种爱好,目前包括网球、滑板和桨板运动。

来源:AWS Machine Learning Blog · aws.amazon.com