跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 17 小时前AI 评分58

Amazon SageMaker AI 实时端点支持 KV cache 感知路由

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI 导读

Amazon SageMaker AI 为实时端点新增 KV cache 感知路由(KV_AWARE),依据模型容器上报的缓存状态把请求发到已缓存其提示词且不过载的实例。

正文 · AI 翻译

今天,Amazon SageMaker AI 推出 KV 缓存感知路由(KV-aware routing),这是一种用于实时端点的新路由策略。它利用模型容器上报的缓存状态,将每个请求发送到已持有其提示词的长缓存匹配且不过于繁忙的实例。它适用于为大型语言模型(LLM)提供多轮对话、长共享提示词或高负载服务的团队。你需要在两处启用它:为模型添加一个环境变量,使容器上报其缓存内容;并在端点配置中将 RoutingStrategy 设置为 KV_AWARE。你的客户端仍使用与之前相同的 API 调用该端点。

它解决的问题是:聊天助手、检索增强生成(RAG)以及带有长系统提示词的智能体等 LLM 应用会发送大量以相同文本开头的请求。模型会将针对某个提示词所做的工作保存在 GPU 内存中,即 KV 缓存,当相同的开头再次到达同一实例时便跳过这部分工作。在本系列的第 1 部分中,我们介绍了 Amazon SageMaker AI 的前缀感知路由,它将开头相同的请求发送到同一实例。前缀感知路由仅根据请求本身推断前缀缓存在何处,因此无法判断实例何时已驱逐该缓存。

前缀感知路由仅根据请求本身选择实例。它对请求的开头进行哈希计算,计算范围最多到你所配置的 PrefixLength(InvokeEndpoint 负载的字节数,或对于 OpenAI 兼容的 Chat Completions API 为消息文本的字符数),并将开头相同的请求发送到同一实例。它从不知道实例实际缓存了什么。当每个请求都以相同的共享文本开头时,这种方法效果很好,但在以下两种情况下效果较差:

实例上的缓存会随时间变化。当 GPU 内存填满时,实例会驱逐较旧的 KV 缓存条目,但路由器仍会继续将匹配的请求发送到那里,仿佛缓存仍然有效。

对话一开始很短。在多轮聊天中,每一轮都会增加历史记录。当请求仍然短于 PrefixLength 时,每个新轮次都会改变路由器所哈希的文本,因此下一轮可能落到与缓存了先前轮次不同的实例上。只有当请求增长超过 PrefixLength 后,对话的各轮次才会停留在同一实例上。

在本文中,我们解释 KV 感知路由的工作原理、何时使用它,以及如何在单模型端点和推理组件端点上启用、调用和验证它。

KV 感知路由的工作原理

KV 感知路由包含三个部分:模型容器上报其缓存内容,SageMaker AI 为该端点维护该状态的托管缓存索引,端点使用该索引为每个请求选择实例。

当你通过 SM_VLLM_KV_EVENTS_CONFIG 开启事件后,容器每次存储或驱逐缓存条目时都会发布一个 KV 缓存事件,SageMaker AI 利用这些事件保持索引最新。索引只保存指针:缓存内容的单向、截断哈希,每个哈希映射到持有该内容的实例或推理组件副本。它从不存储提示词、token ID、请求负载或 KV 张量。当请求到达时,端点会对提示词进行分词,并在索引中查找这些 token。索引返回在其缓存中持有该提示词一部分的实例或推理组件副本,以及每个实例或副本持有多少。例如,如果实例 A 持有某段对话已缓存的起始部分,该对话的下一轮就会发往 A。由于索引按 token 而非固定字节数进行匹配,多轮历史在增长过程中可以完整匹配。只共享部分提示词的请求仍会发往匹配最长的实例。

随后,端点会在这些候选中进行选择,权衡每个候选已缓存的提示词比例与其繁忙程度。过于繁忙的候选会被跳过,因此如果匹配最长的实例繁忙,请求会发往下一个可用的最佳实例。如果没有候选具有有用的匹配,或所有候选都繁忙,请求会回退到负载感知路由,如“路由开销与回退”中所述。你无需像使用前缀感知路由那样为此配置并发阈值。索引也会跟随集群变化。当你缩容时,已移除实例的条目会被丢弃。当你扩容或更新替换实例时,新实例以空缓存启动,因此延迟可能会在短时间内升高。

KV-aware routing: the router uses the managed cache index to send each request to the instance holding the longest cached match

图 1:SageMaker AI 端点上的 KV 感知路由。路由器查询托管缓存索引,并将请求转发到持有最长缓存匹配的实例。每个实例都会将 KV 缓存事件报告回索引

在图 1 中,端点有三个实例 A、B 和 C。每个实例都在自己的模型容器中运行相同的模型(即“要求与限制”中列出的 AWS vLLM 深度学习容器),并在 GPU 内存中拥有自己的 KV 缓存,因此每个实例持有不同的缓存内容:A 持有对话 1 的第 1 至 3 轮,B 持有对话 2 和 3,C 持有文档 7。当对话 1 的第 4 轮到达时(步骤 1),路由器对其进行分词,并在托管缓存索引中查找(步骤 2)。索引显示 A 持有该请求 6,200 个 token 中的前 6,000 个,因此路由器将请求发送到 A(步骤 3),A 只需计算剩余的 token。如果 A 繁忙,路由器会将请求发送到最不繁忙的实例(步骤 4)。KV 感知路由需要多个可选目标,因此仅在至少有两个实例,或至少有两个推理组件副本时才会生效。只有一个实例时,每个请求都会发往该实例,该设置不起作用。

SageMaker AI 上的路由策略

通过本次发布,SageMaker AI 为实时端点提供四种路由策略。你在端点配置的 RoutingConfig 中为每个生产变体设置策略。

策略 路由方式 推荐用于
RANDOM(默认) 将每个请求发送到随机选择的实例。 通用工作负载、非 LLM 模型以及可互换的请求。
LEAST_OUTSTANDING_REQUESTS 将每个请求发送到在途请求最少的实例。 处理时间会变化、且希望所有实例保持同等繁忙程度的工作负载。
PREFIX_AWARE 将共享相同提示词前缀(最多 PrefixLength)的请求发送到同一实例。当达到 ConcurrencyThreshold 时溢出到另一实例。 请求开头固定位置存在共享文本的 LLM 工作负载,适用于任何支持前缀缓存的推理框架。
KV_AWARE(新增) 根据容器上报的缓存状态,将每个请求发送到持有匹配缓存前缀的实例,并权衡匹配长度与负载。无法匹配时回退到负载感知路由。 在受支持的容器上运行、具有多轮对话、频繁缓存淘汰或请求仅共享部分开头的 LLM 工作负载。

前缀感知或 KV 感知

两种策略都会将请求发送到其前缀可能被缓存的位置。它们的区别在于如何得知该位置,以及需要容器提供什么。

前缀感知路由 KV 感知路由
缓存位置的来源 根据请求前缀推断 容器上报的缓存状态
每请求增加的延迟 第 1 部分中为 1.3–1.9 毫秒 短提示词为几毫秒,长提示词更多,主要用于分词
匹配方式 前 PrefixLength 个字节(Invoke API)或字符(OpenAI 兼容 API) Token,最长缓存匹配
参数 PrefixLength、ConcurrencyThreshold 无需任何参数
容器 任何启用了前缀缓存的容器 受支持的容器,需启用前缀缓存和 KV 缓存事件(参见要求与限制)
请求负载 任意 OpenAI 兼容的 Completions 或 Chat Completions 格式

性能

我们通过两种方式将 KV 感知路由与随机路由进行了对比:在生产规模实例上的大规模基准测试,以及一个更小、可复现的对比,你可以在“验证 KV 感知路由是否正常工作”中跟随操作。

基准测试结果

在七个 ml.p5.48xlarge 实例上使用 Llama 3.1 70B Instruct 的基准测试中,我们运行了 30 分钟的测试,模拟 20 或 100 个用户进行多轮聊天和文档问答会话,提示词最长约 64,000 个 token。与随机路由相比,在负载下使用长提示词时,KV 感知路由将 p50 首 token 时间(TTFT)最多降低了 97%,吞吐量最多提高了 234%。它将 KV 缓存命中率从 3–48% 提升到 80–93%。长提示词即使在较低负载下也有收益。短提示词的收益最小,因为可节省的预填充较少。结果取决于你的工作负载。要针对你自己的流量进行测量,请使用“验证 KV 感知路由是否正常工作”中的检查方法。

路由开销与回退

在路由请求之前,端点会对提示词进行分词,并在托管缓存索引中查找。短提示词的查找需要几毫秒,长提示词则更长,主要用于分词,但与缓存命中节省的时间相比仍然很小。对于使用标准选项的纯文本请求,它计算出的 token 会传递给模型,因此提示词不会被分词两次。

如果查找缓慢、找不到有用的匹配,或所有匹配的实例都处于忙碌状态,端点会使用负载感知路由来转发请求,其行为与 LEAST_OUTSTANDING_REQUESTS 策略相同。请求仍会被处理,但无法享受缓存带来的好处。当端点无法对请求进行分词时也会如此,但 Invoking the endpoint 中描述的两个错误情况除外。这些回退在发布时不会在 SageMaker AI 控制台或指标中报告,因此请使用 Verify that KV-aware routing is working 中的检查来确认路由对你的流量是否有效。

对于非常短的提示词,可节省的预填充较少,因此前缀感知路由可能就足够了。

何时使用 KV 感知路由

前缀感知路由无需更改容器,但它无法看到实例实际持有的内容。KV 感知路由会向容器询问其持有的内容,因此更加精确。当有大量缓存上下文可复用且该缓存承受压力时,它能带来收益:长提示词、高负载,以及实例的 GPU 内存不足以容纳 KV 缓存。当这种情况发生时,容器会逐出缓存中最近最少使用的部分,包括共享提示词和对话历史的部分内容。

例如,一个支持助手运行在三个实例上,每个对话都以相同的 6,000 个 token 的知识库摘录开头。对话 1 从实例 A 开始,A 缓存了该摘录。流量上升,A 内存不足,容器逐出了该摘录的大部分内容。实例 B 最近处理过另一个使用相同摘录的对话,并且仍持有其前 4,000 个 token。当对话 1 的下一轮到达时,前缀感知路由会再次将其发送到 A,A 会重新计算该摘录。使用 KV 感知路由时,A 的容器已经报告了逐出,因此索引显示 B 持有最长的匹配,请求会发往 B,B 只重新计算剩余的 token。在低负载下,A 不会逐出任何内容,两种策略都会将请求发送到 A,且缓存保持完好。

当请求以固定长度前缀无法捕获的方式复用缓存上下文时,KV 感知路由最有帮助:

多轮对话: 每一轮都会发送完整的对话历史,因此缓存前缀会随着每一轮而增长。KV 感知路由会匹配整个缓存历史,并将每个对话保持在持有它的实例上。这对于长对话最为重要。在托管缓存索引反映逐出后,路由器不会继续将对话发送到已经丢弃其缓存的实例。

具有共享上下文的高吞吐量推理: RAG 应用会前置检索到的文档,助手会在每个请求中发送长系统提示词。当这些提示词很长且实例面临内存压力时,KV 感知路由很适用。在共享前缀稳定且负载适中时,前缀感知路由也很适用。将共享内容放在最前面并保持相同顺序:如果相同的文档以不同顺序出现,提示词就不再共享开头,因此不会匹配。

前缀长度难以调优的工作负载: 使用前缀感知路由时,你需要选择一个 PrefixLength,既能覆盖共享文本,又不会分散本应保持在一起的请求。KV 感知路由无需调优前缀长度,因为它根据实际缓存的内容进行匹配。

如果你的请求在开头共享稳定的系统提示词或文档、提示词较短,或负载适中,那么前缀感知路由非常合适,且无需更改容器。在这些情况下,实例有足够的 GPU 内存来缓存共享文本,因此两种策略都能找到它。如果你的容器不支持 KV 感知路由,前缀感知路由也是选择,因为它适用于任何开启了前缀缓存的容器。如果你的请求较短且可互换,或者你的模型不是 LLM,那么可复用的缓存上下文很少,因此请使用 RANDOM 或 LEAST_OUTSTANDING_REQUESTS。

如果不确定哪种适合,请先从前缀感知路由开始,针对 KV_AWARE 端点运行你自己的流量,并按照“验证 KV 感知路由是否正常工作”中所述比较首 token 时间、吞吐量和命中率。

要求和限制

在启用 KV 感知路由之前,请检查你的容器、端点和请求是否满足以下要求:

容器: 在启动时,KV 感知路由支持用于 SageMaker AI 的 AWS vLLM Deep Learning Container:vLLM 0.33.0 或更高版本的镜像,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 或更高版本。必须开启前缀缓存(这是默认设置),并且必须通过 SM_VLLM_KV_EVENTS_CONFIG 环境变量开启 KV 缓存事件,如“如何启用”中所示。SageMaker AI 不会为你设置它。

端点和实例: GPU 实例类型上的实时单模型端点和推理组件端点,包括动态低秩适应(LoRA)适配器。你还可以使用 AWS CloudFormation 配置 KV 感知路由。仅当单模型端点至少有两个实例,或推理组件至少有两个副本(可以位于同一实例上)时,路由才会生效。如果少于这个数量,你仍然可以设置 KV_AWARE,端点不会被拒绝,但每个请求都会转到单个实例或副本。

请求: OpenAI 兼容的 Completions 或 Chat Completions 负载,通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI OpenAI 兼容的 Chat Completions API 发送。不支持 InvokeEndpointWithBidirectionalStream。如果你设置了 model 字段,它必须与 SM_VLLM_MODEL 的值匹配。

SDK 版本: 用于跟踪 KV 缓存命中率的详细可观测性需要 AWS Command Line Interface(AWS CLI)2.35.6 或更高版本,或 Boto3 1.43.31 或更高版本。

SageMaker AI 会在你的端点处理流量之前检查这些要求。如果检查失败,请求或部署会失败,并显示一条说明缺少什么的消息。有关设置、验证行为和配额的完整列表,请参阅 SageMaker AI 文档。

如何启用

你在两个位置开启 KV 感知路由:模型和端点配置。示例笔记本端到端地运行每个步骤,适用于单模型端点和推理组件端点。

1. 在模型中开启 KV 缓存事件 – 创建模型时,将 SM_VLLM_KV_EVENTS_CONFIG 添加到容器环境。没有它,端点就没有可用于路由的缓存状态。此设置中的端口仅在实例内部使用,因此你无需将它们开放到网络。

"Environment": {
    "SM_VLLM_MODEL": "<model-id-or-/opt/ml/model>",
    "SM_VLLM_KV_EVENTS_CONFIG": "{\"enable_kv_cache_events\": true, \"publisher\": \"zmq\", \"endpoint\": \"tcp://*:5557\", \"topic\": \"kv-events\", \"replay_endpoint\": \"tcp://*:5658\"}"
}

2. 在端点配置中选择 KV 感知路由 – 在生产变体的 RoutingConfig 中将 RoutingStrategy 设置为 KV_AWARE:

"RoutingConfig": {
    "RoutingStrategy": "KV_AWARE"
}

如果你的容器镜像为 CUDA 13 构建,还要将生产变体中的 InferenceAmiVersion 设置为支持它的 AMI,例如 al2023-ami-sagemaker-inference-gpu-4-1。否则容器可能无法启动。请参阅推理 GPU 驱动程序。

请检查您的账户是否有足够的端点配额来支持您选择的实例类型和数量,如有需要,请在 Service Quotas 中申请增加配额。

相同的 RoutingConfig 设置同样适用于推理组件端点,包括动态 LoRA 适配器。对于适配器,KV 感知路由会在已加载该适配器的实例中进行选择。

调用端点

调用端点的方式没有任何变化。发送一个 Chat Completions 请求负载,在请求体中带上 InvokeEndpoint,或者带上 InvokeEndpointWithResponseStream 和 "stream": true:

{"messages": [{"role": "user", "content": "What is your return policy?"}]}

您也可以通过 SageMaker AI 的 OpenAI 兼容 Chat Completions API,使用 OpenAI Python 客户端调用该端点。GitHub 上的 Use the OpenAI-compatible API with SageMaker AI notebook 演示了具体做法,涵盖单模型端点和推理组件两种情况。

KV 感知路由不会应用第 1 部分中的多租户前缀隔离:它会忽略前缀感知 ID 请求头和 prompt_cache_key 字段。如果请求将顶层 cache_salt 字段设置为非空值,则会以 400 错误被拒绝。

KV 感知路由新增了两种错误情况:如果请求的 model 字段指定的模型并非该容器所提供,则会以 ModelError 失败;如果请求中的 cache_salt 为非空值,则会以 400 错误被拒绝。推理本身产生的错误仍像以前一样返回,您可以通过模型容器在 Amazon CloudWatch 中的日志来查找原因。端点不会将有关其 KV 感知路由决策的日志发送到您的账户,因此请使用“验证 KV 感知路由是否正常工作”中的检查方法(例如每次请求的 cached_tokens 和 KV 缓存命中率)来观察路由行为。

验证 KV 感知路由是否正常工作

KV 感知路由本身不会新增指标,因此您需要检查它对模型的影响。有三种方法可以做到这一点。

检查每次请求的缓存命中情况 – 容器默认不会报告提示词 token 的详细信息,因此请在模型环境中将 SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS 设置为 true。这样每个响应都会包含 usage.prompt_tokens_details.cached_tokens,即由 KV 缓存提供的提示词 token 数量。当您发送后续轮次,或发送另一个与先前请求开头相同的请求时,非零值表明该请求到达了持有其前缀的实例。

在 Amazon CloudWatch 中检查模型指标 – 在创建端点配置时添加 --metrics-config '{"EnableDetailedObservability": true}' 以开启详细可观测性,使用“要求与限制”中的 SDK 版本。随后 SageMaker AI 会发布模型容器的指标,包括 KV 缓存命中率和 TTFT。请按照 Detailed observability with PromQL 中所述进行查询。

A follow-up request response with most prompt tokens served from the KV cache, and the KV cache hit rate chart in the SageMaker AI Insights dashboard

图 2:验证 KV 感知路由。(a) 后续请求显示大部分提示词 token 由 KV 缓存提供。(b) SageMaker AI Insights 仪表板中同一端点的 KV 缓存命中率

与您原本会使用的策略进行比较 – 对于大多数 LLM 工作负载,真正的选择是在 KV_AWARE 和 PREFIX_AWARE 之间,因此请比较这两者,并添加一个 RANDOM 端点作为基线。为每个端点使用相同的模型、实例类型和实例数量,并在相同并发下发送相同的提示词、持续相同的时间,使唯一的差异就是路由策略。确保您的测试像生产流量那样复用上下文,例如多轮对话或共享文档。如果 KV_AWARE 和 PREFIX_AWARE 在您的流量下表现大致相同,那么前缀感知路由是更简单的选择。

作为这一对比的示例,我们在一个小型端点上比较了RANDOM和KV_AWARE。我们将相同的多轮工作负载发送到两个仅在路由策略上不同的端点。每个端点有两个ml.g5.xlarge实例,在受支持的容器上为Qwen3-4B-Instruct-2507提供服务。每次运行发送128个请求:32个模拟用户,每个用户就一份文档提出4个问题,文档从12份约7,400个token的文档中选取。每个问题都会重新发送此前的对话,因此第一个问题之后的每个问题都可以复用缓存的上下文。我们运行了两对运行,第1对中RANDOM在前,第2对中KV_AWARE在前,并且每对都使用新文档,以便两个端点都从空缓存开始。表1以第1对/第2对的形式显示结果。

指标 RANDOM KV_AWARE
CloudWatch ModelLatency 平均值(毫秒) 4,124 / 5,100 1,235 / 1,314
CloudWatch ModelLatency p50(毫秒) 3,153 / 4,083 656 / 700
CloudWatch ModelLatency p90(毫秒) 8,334 / 10,746 3,213 / 3,535
CloudWatch ModelLatency p99(毫秒) 17,779 / 16,249 6,876 / 7,238
首token时间 p50,问题2–4(毫秒) 1,284 / 1,632 237 / 245
首token时间 p90,问题2–4(毫秒) 5,039 / 6,101 456 / 367
首token时间 p90,所有请求(毫秒) 5,003 / 5,683 1,465 / 1,759
从缓存提供的提示token占比 0.761 / 0.701 0.903 / 0.903
运行时长(秒) 31.1 / 36.9 17.9 / 18.0
CloudWatch OverheadLatency 平均值(毫秒) 13.1 / 8.1 27.1 / 27.5

表1:相同工作负载下的RANDOM和KV_AWARE路由。每个单元格显示第1对/第2对。ModelLatency和OverheadLatency是端点的Amazon CloudWatch指标。客户端测量了首token时间和运行时长。缓存占比是一次运行中cached_tokens之和除以prompt_tokens之和

在两对运行中,KV_AWARE的CloudWatch ModelLatency都更低(平均分别为1,235和1,314毫秒,对比4,124和5,100毫秒),问题2–4的首token时间也更低(p50分别为237和245毫秒,对比1,284和1,632毫秒)。其缓存占比更高,两对均为90%,对比76%和70%。OverheadLatency是SageMaker AI在模型容器之外花费的时间,使用KV_AWARE时平均高出14至19毫秒。这只是一个模型、一种实例类型和一种具有长共享文档的工作负载,因此请按本节前面所述测量你自己的流量。图3显示了SageMaker AI控制台为两个端点显示的模型延迟图表。

One-minute average model latency in CloudWatch for the RANDOM endpoint in blue and the KV_AWARE endpoint in orange across seven runs

图3:Amazon CloudWatch中RANDOM端点(蓝色)和KV_AWARE端点(橙色)的一分钟平均模型延迟,共享0–7秒坐标轴。每个端点在新文档上连续运行了七次相同工作负载,RANDOM在前。RANDOM的平均模型延迟为4.9–6.2秒,KV_AWARE为1.2–1.3秒。最后一个RANDOM点较低,因为那一分钟只包含该次运行的最后20个请求

如果两者都不比RANDOM更好,请检查容器中是否已启用前缀缓存和KV缓存事件,如“要求与限制”中所述。

示例笔记本

示例笔记本将本文中的步骤应用于两个ml.g5.xlarge 实例上的Qwen/Qwen3-4B-Instruct-2507(这是单个模型端点的最低要求),以及一个具有两个副本的推理组件端点。它使用两种API调用端点,在容器日志中显示后续请求由KV缓存提供,并且不比较路由策略。最后运行其清理单元格以避免持续产生费用。

清理

为避免持续产生费用,请删除你创建的资源。对于推理组件端点,请先删除推理组件(delete-inference-component),然后删除端点、端点配置和模型(delete-endpoint、delete-endpoint-config、delete-model)。

实用指南

这三项实践有助于你在启用KV感知路由后保持其有效性。

监控 KV 缓存命中率 – 上线后保持详细的可观测性,并在 SageMaker AI Insights 仪表板(图 2b)中随时间观察 KV 缓存命中率,或按“验证 KV 感知路由是否正常工作”中所述使用 PromQL 查询。

为冷启动做好规划 – 带有新上下文的第一个请求(例如新文档或对话的第一轮)在任何实例上都没有缓存内容。KV 感知路由加速的是后续请求,而不是第一个请求。

为扩缩容和更新期间的缓存重建做好规划 – 如“KV 感知路由的工作原理”中所述,新实例启动时缓存为空。为缓解延迟增加,对单模型端点使用滚动更新或蓝/绿更新,或对推理组件使用 RollingUpdatePolicy。

结论

KV 感知路由为 SageMaker AI 实时端点提供了第二种将请求发送到其提示已缓存位置的方式。它使用模型容器报告的缓存状态,因此当实例在内存压力下逐出缓存时,它会跟随缓存状态。对于稳定的共享提示、短上下文和中等负载,本系列第 1 部分中的前缀感知路由仍然是更简单的选择。SageMaker AI 在端点内部为这两种策略处理路由,因此你无需自行构建或运行路由层。你只需在模型中设置一个环境变量,并在端点配置中设置 "RoutingStrategy": "KV_AWARE" 即可启用。

KV 感知路由现已在所有支持 SageMaker AI 实时推理的商业 AWS 区域中可用,适用于使用受支持容器的端点。它不收取额外费用。SageMaker AI 为你运行和管理缓存索引,你只需为端点使用的实例付费。KV_AWARE 是现有 RoutingStrategy 字段的新值,因此你不需要新的配置对象,旧版本的 AWS CLI 和 Boto3 也接受它。要开始使用,请阅读文档,在一个小型端点上运行示例笔记本,然后在你自己的流量副本上比较 KV_AWARE 与 PREFIX_AWARE。


关于作者

Dmitry Soldatkin

Dmitry 是 AWS 亚马逊 SageMaker AI 推理专家解决方案架构的全球负责人。他帮助客户设计、构建和优化生成式 AI 与机器学习解决方案,重点关注推理性能优化、深度学习以及在企业范围内扩展 ML。在之前的职位中,他曾在金融服务、保险和电信公司领导团队。

Shashi Kiran

Shashi Kiran

Shashi 是 AWS 分布式推理专家解决方案架构的全球负责人,负责推动解决客户在扩展和优化 AI/ML 推理方面复杂挑战的方案。他帮助客户设计和构建用于生成式 AI 和深度学习的分布式服务托管平台,并将他们的需求和真实世界洞察转化为 Amazon SageMaker 的产品方向。

Apoorva Chandra

Apoorva Chandra

Apoorva 是 Amazon SageMaker AI 推理团队的产品经理,专注于端点体验和托管体验。她与在生产环境中部署生成式 AI 模型的客户合作,使加速计算更易获取、运行更具成本效益、运营更可预测。工作之余,Apoorva 喜欢徒步、探索咖啡馆以及与朋友共度时光。

Shijie Lyu

Shijie Lyu

Shijie 是 Amazon SageMaker AI Inference 团队的软件开发工程师,从事大规模语言模型推理与训练方面的工作。他的工作涵盖 KV 感知路由、LoRA 适配器服务、推测解码、快速扩缩容以及异构集群。他还构建强化学习后训练基础设施,使用 CUDA 和 Triton 优化 GPU 内核,并为 vLLM 和 SGLang 开源项目做出贡献。

来源:AWS Machine Learning Blog · aws.amazon.com