跳到正文
AWS Machine Learning Blog· Aryaman Kothari·· 3 天前AI 评分36

Amazon SageMaker Inference 2026 年发布回顾(下):托管端点与 HyperPod Inference 的 14 项新功能

Amazon SageMaker Inference: 2026 launches in review, part 2

AI 导读

Amazon SageMaker Inference 2026 年累计发布 26 项功能,下半年新增 14 项,覆盖托管端点与 HyperPod Inference。推理推荐功能扩展至 SageMaker AI Studio、Python SDK v3(3.17.0 及以上)和编码智能体,并支持 LoRA 适配器与基于 SLA 的并发搜索;端点现可跨 Region 和账户路由请求。

正文 · AI 翻译

从首个端点走向全球机群:面向托管端点和 HyperPod Inference 的另外 14 项发布

9 月,Amazon SageMaker Inference:2026 年迄今发布回顾介绍了 13 项发布,它们缩短了从模型到生产端点的路径。其中大多数都回答了一个问题:如何让这个模型快速、可靠地提供服务?本文介绍接下来的 13 项发布,使 2026 年的总数达到 26 项。

模型进入生产环境后,问题就变了。团队想知道:既然流量已是真实流量,模型应该运行在哪种配置上;如何把更多模型装进他们已经付费的 GPU;当下一个模型大到一台机器放不下时该怎么办;为什么请求在一个区域排队,而另一个区域的 GPU 却闲置;以及为什么没人改动任何东西,延迟却上升了。本文按团队通常遇到这些问题的顺序逐一展开。

对于 HyperPod Inference,它列出了更多路由策略、对模型服务框架更广泛的支持,以及扩展的多区域网络。Inference Gateway 和 Global Inference Gateway 交付了路由和多区域方面的工作,托管版 NVIDIA Dynamo 则是一个新的服务框架。对于托管端点,路线图指向与 AWS AI 生态其余部分更深入的集成。推理建议现在可从 Amazon SageMaker AI Studio、SageMaker Python SDK 以及工程师们已经在用的编码代理中运行,端点现在也可以跨区域和跨账户路由请求。

为了让每一节都具体,我们在整篇博客中跟随一个假设的团队。春天,他们借助第 1 部分的发布,在一个 70B 参数模型上、通过单个 SageMaker AI 端点上线了一个客户支持助手。到了秋天,他们需要支持更多产品线、采用一个更大的推理模型、在第二个区域服务客户,并保持 GPU 账单不增加。

发布一览

图 1:本文的五个阶段及每个阶段的发布

无论在哪里工作,都能选对配置

团队在 4 月根据一次基准运行选定了最初的配置。此后,他们新增了四个 LoRA(低秩适配)适配器,每个产品线一个,产品团队还设定了峰值负载下首 token 时间(TTFT)500 毫秒的目标。4 月的配置从未针对这两项变化做过测试。将重新运行分析的工程师在笔记本和编码代理中工作,很少有人使用控制台。

推理建议于 4 月作为 API 发布。此后的四次更新让它能在团队工作的更多场所使用,并让它回答两个更难的问题:一个端点能承载多少个适配器,以及在错过延迟目标之前能承受多大并发量。一项新的代理技能把同样的专业知识带入编码代理。

SageMaker AI Studio 中的推理建议(2026 年 7 月)

博客:在 Amazon SageMaker AI 中推出生成式 AI 推理建议 UI

4 月发布的自动化实例、容器和优化选择功能通过 API 实现。推理建议现已在 SageMaker AI Studio 中作为引导式低代码工作流提供。在 Studio 中,选择 Jobs,然后选择 Inference optimization。选择一个用例配置文件(Interact、Generate、Summarize 或 Custom)、一个优化目标(最小化延迟、最大化吞吐量或最小化成本),以及一个来自 SageMaker JumpStart、Amazon Simple Storage Service(Amazon S3)、Model Registry 或现有 SageMaker 模型的模型。

SageMaker AI 使用 NVIDIA AIPerf 在真实 GPU 基础设施上对候选配置进行基准测试,并应用与目标匹配的技术,例如为提升吞吐量而采用推测解码,或为降低延迟而进行内核调优。您可以按 TTFT、token 间延迟、吞吐量和成本比较排名结果,然后从 Studio 将所选配置部署到实时端点。

SageMaker Python SDK v3 中的推理建议(2026 年 8 月)

博客:Amazon SageMaker Python SDK 的 LLM 优化集成

此前,基准测试和建议需要 SageMaker AI Studio 或直接调用 Boto3。现在它们已成为 SageMaker Python SDK v3(版本 3.17.0 及更高版本)的一部分,与团队用于训练和部署的接口相同,因此该工作流可融入 notebook、CI 管道和 MLOps 工作流。您可以针对工作负载流量对实时端点进行基准测试,为延迟、吞吐量或成本目标生成排名建议,并通过一次调用将排名最高的配置部署到实时端点。

该 SDK 还支持更长的工作流。您可以并行运行建议作业,以比较 LMI 和 vLLM 等 serving 框架,还可以从已完成的作业恢复,从而在不同的 notebook 或管道阶段进行部署,而无需重新运行基准测试。

推理建议中的 LoRA 适配器支持(2026 年 9 月)

开发人员指南:获取带 LoRA 适配器的模型的建议

许多团队使用 LoRA 适配器将一个基础模型专门用于多个用例。每个保留在 GPU 内存中的适配器都会减少端点可服务的并发请求数,而合适的平衡取决于实例类型、适配器数量和流量特征。

推理建议现在接受适配器作为 Model Package Amazon Resource Name(ARN),适用于 SageMaker 微调生成的适配器;或作为 S3 URI,适用于来自 Hugging Face PEFT 等外部管道的适配器。SageMaker AI 在真实 GPU 基础设施上对适配器数量和并发数的组合进行基准测试,并针对您的工作负载返回排名结果。输出会列出每个适配器的两种格式。推荐的部署使用 SageMaker Inference Components,基础模型一个组件,每个适配器各一个组件,因此您可以在不中断基础模型或其他适配器的情况下添加、更新或移除适配器。

基于 SLA 的并发搜索(2026 年 9 月)

博客:在 Amazon SageMaker AI 上通过并发扫描为生成式 AI 端点合理配置规模

为端点合理配置规模意味着找到它能够维持且不违反延迟或错误目标的最高并发数。到目前为止,这意味着需要手动选择并发级别、运行扫描、对照服务等级协议(SLA)检查结果,并在模型或实例发生变化时以更窄的范围重复此过程。

推理建议现在包含一项搜索,可直接找到该边界。将 search_recipe 设为 max-concurrency-under-sla,并为最大 TTFT、每个输出 token 的最大时间、最大端到端延迟和最大错误率的任意组合提供目标值。基准测试引擎(AIPerf)从较宽的范围开始,根据哪些探测通过或失败来缩小范围,并以比线性扫描更少的迭代次数收敛。结果报告通过的最大并发数(feasible_max),或者,如果没有级别符合条件,则报告最小的失败并发数(infeasible_min)。

该搜索使用与并发扫描相同的 CreateAIWorkloadConfig 和 CreateAIBenchmarkJob API。可选参数(concurrency_min、concurrency_max、search_max_iterations 和 search_initial_points)可限制成本并加快收敛。

用于优化生成式 AI 推理的 Agent 技能(2026 年 10 月)

博客: 新 Agent 技能:面向你的编码 Agent 的 Amazon SageMaker 优化生成式 AI 推理

工程师越来越多地询问他们的编码 Agent 应使用哪个实例和容器。如果没有可靠的知识和真实基准测试的访问权限,Agent 只能猜测,而错误的实例选择会在之后表现为未达到延迟目标或浪费支出。

通过 Agent Toolkit for AWS 提供的 aws-ai-ml 技能,为 Kiro 等编码 Agent 提供内置的 SageMaker AI 推理专业知识。工程师用自然语言描述他们的需求,Agent 可以执行以下操作:

  • 找到合适的实例。 针对 Amazon S3、SageMaker JumpStart 或 Hugging Face Hub 中的模型,提供按实测吞吐量、延迟和 TTFT 排序的部署选项。
  • 对在线端点进行基准测试。 基于真实负载的报告,涵盖吞吐量、P50 和 P99 延迟、token 间延迟以及支持的并发数。
  • 比较运行结果。 每项指标的百分比变化,可显示配置更改是否有帮助。

答案基于实测性能,并以 SageMaker Python SDK v3 代码形式提供,工程师可在自己的凭证下审查并运行。设置大约需要 10 分钟。该技能适用于任何支持 Model Context Protocol (MCP) 的 Agent,并可在 SageMaker AI Studio JupyterLab 空间中使用。

对于支持团队来说,一个包含全部四个适配器的推荐任务,随后针对 500 毫秒 TTFT 目标进行并发搜索,取代了他们在 4 月运行的手动扫描。负责该任务的工程师可以从 notebook 启动作业,或让编码 Agent 运行它。

在每个 GPU 上容纳更多模型

支持助手并非单独运行。一个嵌入模型、一个重排序器和一个用于路由工单的小型分类器位于同一账户中,每个都只使用 GPU 的一小部分。在标准端点上,每个模型副本仍占用整个加速器,因此团队在 GPU 内存闲置的情况下用完了放置槽位。

SageMaker AI 控制台中的推理组件(2026 年 10 月)

开发人员指南: SageMaker AI 控制台中的推理组件

借助推理组件,你可以在一个端点上托管多个模型,并分别调整每个模型的大小和扩缩容。到目前为止,它们只能通过 SDK 和 AWS Command Line Interface (AWS CLI) 使用。每次创建、调整大小和扩缩容策略都必须编写脚本,而且没有单一视图来查看每个模型正在使用什么。

在 SageMaker AI 控制台中,你现在可以创建、查看、更新和删除推理组件:

  • 创建和编辑。 创建带有推理组件的端点,稍后添加或删除组件,并更改每个组件的加速器、CPU、内存和副本数。
  • 为每个模型设置扩缩容。为每个组件设置自动扩缩容策略,最低可缩容至零个副本,这样空闲模型就不会一直占用加速器。
  • 监控。在同一页面上查看告警和各组件的指标。

控制台调用的 SageMaker AI API 与 SDK 和 CLI 相同,因此团队可以先在控制台上手,之后再实现自动化,也可以可视化地管理脚本化组件。

使用 NVIDIA Multi-Instance GPU 进行 GPU 分区(2026 年 10 月)

博客:SageMaker Inference 现已支持 Multi-Instance GPU,可最大化模型端点的 GPU 利用率

GPU 分区使用 NVIDIA Multi-Instance GPU(MIG)技术,根据加速器的不同,可将一块物理 GPU 划分为最多七个分区。每个分区都有专用的 GPU 计算和内存资源,并具备完全的硬件隔离。在为推理组件创建端点时定义分区布局,并为每个组件选择分区类型。应用程序仍通过推理组件名称调用模型,因此客户端代码无需更改。

MIG 在分区之间隔离 GPU 计算和内存。同一实例上的模型仍共享主机 CPU、主机内存、网络、存储和端点路由。您需按完整的实例小时支付标准费率,因此节省来自在每个实例上放置更多模型,而非更低的每小时价格。

Three small models on three separate GPUs compared with the same models sharing partitions of one GPU

图 2:三块 GPU 上运行三个小模型,与同一块 GPU 的多个分区中运行相同模型的对比

对于支持团队来说,嵌入模型、重排序器和分类器现在运行在单个端点上一块 GPU 的不同分区中,团队可以从控制台管理每个组件,包括助手及其适配器。

服务大于单个实例的模型

团队的下一个模型是一个推理模型,仅其权重就超过了任何单个实例的 GPU 内存。他们还注意到,冗长、检索密集的提示词会拖慢端点上其他所有用户的 token 生成速度。对于这种规模的模型,他们将工作负载迁移到 HyperPod Inference,从而获得专用集群和 Kubernetes 原生控制能力。支持助手仍保留在托管端点上。

HyperPod Inference 上的托管 NVIDIA Dynamo(2026 年 11 月)

博客:Amazon SageMaker HyperPod Inference 上的托管 NVIDIA Dynamo

第 1 部分介绍了在 HyperPod 上运行大模型的两个构建模块:Inference Operator v3.2 中的分离式预填充和解码,以及作为托管分层 KV 缓存一部分的 KV 感知路由。本次发布新增了多节点服务,并改变了由谁运维整个技术栈。NVIDIA Dynamo 是一个开源推理框架,提供多节点分片服务、分离式预填充和解码以及 KV 感知路由。团队此前已经可以在自己的 Kubernetes 集群上运行 Dynamo,但必须自行构建和运维周边的一切:将一个副本的所有节点放在一起、配置 Elastic Fabric Adapter(EFA)网络以便预填充能以硬件速度将 KV 缓存交给解码、维护服务镜像,以及在一个故障节点导致多节点副本宕机时进行恢复。

通过本次发布,Dynamo 作为 HyperPod 上的托管服务引擎运行。Dynamo 做出服务决策:模型如何分片、预填充和解码如何拆分,以及每个请求发往何处。HyperPod 提供这些决策所依赖的基础:

  • 容量与网络。GPU 容量和 EFA 网络,自动预置并完成连接。
  • 节点恢复。节点健康监控与替换,节点故障时多节点工作负载自动重新调度。
  • 端点运维。自动扩缩容、端点注册、TLS 与可观测性。
  • 统一的安装与升级路径。Inference Operator 附加组件将 Dynamo、推理镜像以及 Grove 和 KAI 调度器作为一个整体安装,并一同升级。

Dynamo 为 HyperPod 带来的能力包括:

  • 多节点(分片)推理。模型的一份副本跨多个节点分布,因此可以推理无法放入任何单个实例的模型。
  • 预填充与解码分离。提示词处理与 token 生成在独立的 GPU 池上运行,各自使用适合其工作的实例类型,因此长提示词不再拖慢其他用户的响应。
  • KV 感知路由。每个请求被发送到已持有其 KV 缓存的工作节点,从而降低 TTFT。

有三种上手方式。在自管理 Kubernetes 上运行 Dynamo 的团队可以基本原样迁移其现有的 DynamoGraphDeployment(DGD)清单。已使用 HyperPod Inference 的团队可以更新附加组件,并在现有 InferenceEndpointConfig 中添加一小段 dynamoSpec 配置块,HyperPod 会将其转换为 DGD,同时现有端点继续提供服务。两者都是新手的团队可以在控制台中创建集群并启用附加组件和 Dynamo。无论哪种方式,客户端调用的都是标准的 OpenAI 兼容端点,因此客户端代码无需改动。

托管 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,并已在 Amazon SageMaker HyperPod 可用的区域推出。

Architecture of managed NVIDIA Dynamo running on Amazon SageMaker HyperPod Inference

图 3:HyperPod Inference 上的托管 NVIDIA Dynamo

对支持团队而言,推理模型以单个分片副本跨多个节点运行,并配有独立的预填充池和解码池。节点故障时,HyperPod 会替换该节点并重新调度副本,无需呼叫值班工程师。

将每个请求发送到能够处理它的 GPU

该支持助手目前为北美和欧洲的客户提供服务,因此团队在两个区域运行端点和 HyperPod 集群。在美国早高峰时段,请求在美国区域排队,而团队已付费的 GPU 却在欧洲闲置。部分欧洲流量还必须留在欧洲。

路由决定了团队自有的容量能否发挥有效作用。路由发生在四个层级,下面的发布各自覆盖其中一个层级:端点内由哪个实例处理请求、HyperPod 集群内由哪个 pod 处理、整个集群舰队中由哪个集群处理,以及跨区域和账户时由哪个区域端点处理。

图 4:两条部署路径下跨区域以及各端点或集群内部的路由

面向端点的 KV 缓存感知路由(2026 年 11 月)

博客:Amazon SageMaker AI 实时端点现已支持 KV 缓存感知路由

具有长提示词或多轮对话的应用会在多个请求中重复大量前缀。模型服务器可以复用匹配的 KV 缓存,但前提是下一个请求到达持有该缓存的实例。第 1 部分介绍的 prefix-aware 路由会对每个提示词的开头进行指纹识别,并将匹配的提示词发送到同一实例。由于它基于请求历史工作,随着模型服务器添加和逐出条目,它对每个实例缓存的视图会变得不够准确。

KV-cache 感知路由使用模型容器上报的缓存状态。容器将缓存创建和驱逐事件发布到中央缓存索引,SageMaker AI 将每个请求路由到持有最长匹配缓存前缀的可用实例。这提高了长上下文提示、多轮对话以及共享动态提示前缀的工作负载的缓存复用率。

它适用于单模型端点和使用了推理组件的端点,包括 LoRA 适配器。它支持 InvokeEndpoint、InvokeEndpointWithResponseStream,以及用于 Completions 和 Chat Completions 负载的 OpenAI 兼容 API。你在端点配置中启用它。首个版本要求使用经过 AWS 验证的模型容器,该容器需实现缓存事件、分词、指标和 OpenAI 兼容接口。你可以在详细推理可观测性中跟踪 KV 缓存命中率。

该选哪一个。前缀感知路由适用于任何容器,无需更改容器。KV-cache 感知路由需要经过验证的容器,并跟踪实际缓存,当前缀变化或缓存快速更替时最有帮助。

HyperPod 推理网关(2026 年 9 月)

博客:推出 Amazon SageMaker HyperPod 推理网关

在 HyperPod 集群内,容量和需求很少能匹配。一个 Pod 可能正在处理长上下文请求,其 KV 缓存几乎已满,而下一个 Pod 却处于空闲状态,或者已经持有下一个请求所需的提示前缀或 LoRA 适配器。由于无法了解该 GPU 状态,新请求会在繁忙的 Pod 后面排队,团队为了保护延迟而增加 GPU,而不是利用已有的 GPU。每个模型也都有自己的端点,因此客户端必须为每个模型跟踪一个端点。

推理网关是一个 GPU 感知路由器,随 HyperPod 推理运算符附加组件安装,并为每个集群的所有模型提供一个 OpenAI 兼容端点。对于每个请求,它读取每个模型 Pod 的实时信号并选择最佳 Pod,其权重可按工作负载调整:

  • KV 缓存利用率。避免缓存几乎已满的 Pod。
  • 队列深度和运行中请求。避免有积压的 Pod,并平衡活跃工作。
  • 前缀缓存命中率。优先选择可能持有提示前缀的 Pod。
  • LoRA 适配器驻留。优先选择已持有所请求适配器的 Pod,从而避免交换延迟。

与轮询路由相比,它在混合 GPU 代际上将 P99 TTFT 降低了最多 97%,在突发流量下降低了最多 98%。它在所有提供 SageMaker HyperPod 的区域均可用。

HyperPod 全球推理网关(2026 年 11 月)

博客:推出 Amazon SageMaker HyperPod 全球推理网关

推理网关在集群内路由,每个集群只能服务发送给它的请求。一个请求可能在一个区域的饱和集群上等待,而另一个区域的 GPU 却处于空闲状态。客户端必须自行选择集群,而当集群发生故障时,工程师必须手动迁移流量。

Global Inference Gateway 为团队提供跨所有已注册集群的单一 SageMaker 托管端点。对于每个请求,它会根据队列深度、空闲 KV 缓存、与调用方的邻近程度以及近期错误率对集群进行评分,并通过 AWS 私有骨干网将请求发送到最佳集群。该集群中的 Inference Gateway 仍负责选择 pod。请求使用 SigV4 和 IAM 进行身份验证。当某个集群饱和或不健康时,流量会在 30 秒内转移到次优集群,客户端无需采取任何操作,集群恢复后会重新加入池中。路由权重可调,若未设置则使用默认值。

添加或移除模型或集群不会对调用该端点的应用程序产生任何影响。在您发布集群之前,任何集群都不可访问,且已发布的资源保留在您的账户中。Global Inference Gateway 在 AWS 文档 中列出的区域可用。

Amazon SageMaker AI 中的跨区域推理路由

博客: 通过 Amazon SageMaker AI 中的跨区域推理路由,在区域容量短缺期间保持推理运行

在托管端点上,同样的理念体现为跨区域推理路由,这是一种托管路由,可将实时和异步请求发送到团队已部署的跨区域端点,这些端点可位于同一账户或不同账户中。您将服务于同一模型的端点归入一个路由目标下,应用程序调用该目标而非特定的区域端点。路由器不会增加容量、复制模型或部署端点,现有调用路径继续正常工作。

路由器取代了团队目前自行构建的故障转移逻辑:

  • 单一调用路径。 SageMaker 首先尝试本地端点,当本地端点无法处理请求时,将流量转移到另一个已注册端点。
  • 单一路由策略。 该策略将端点指标与服务端容量信号相结合,包括客户自身无法观察到的容量不足错误。
  • 私有连接。 跨区域流量通过 AWS PrivateLink 运行,采用托管跨账户授权模型,因此路由到另一个区域或账户无需互联网或 NAT 网关。
  • 溢出与驻留护栏。 端点所有者可以限制回退端点接受的跨区域流量上限,应用程序可以限制哪些区域可以处理请求。

Cross-Region Inference Router request flow between Regional endpoints

图 5:跨区域推理路由器请求流程

这两个跨区域发布在各自的部署路径上应用了相同的理念。团队保留对其集群和端点的所有权,SageMaker 提供路由、私有连接和故障转移。

Global Inference Gateway 跨区域推理路由器
部署路径 HyperPod 推理 托管端点
路由跨越 任意区域中已注册的 HyperPod 集群 已注册的区域端点,跨区域和账户
连接性 AWS 私有骨干网、SigV4 和 IAM AWS PrivateLink、托管跨账户授权
故障转移 自动,30 秒内 自动,当本地端点无法处理时
所有者控制 集群仅在您发布后才可访问 每个回退端点的溢出上限以及每个应用程序的区域限制

对于支持团队来说,美国早高峰现在在两条路径上都会溢出到欧洲的容量,而必须留在欧洲的请求在路由器策略中被限制在欧洲区域。

上线后持续调优端点

迁移两个月后,团队为支持助手增加了检索功能,平均提示长度大约翻了一倍。TTFT 现在比上线时更高,但没有任何故障,所以所有告警都保持绿色。当团队找到更好的配置时,他们需要在大规模 GPU 实例上推出,而这些实例很难获得更多。

持续性能监控(2026 年 11 月)

博客:Amazon SageMaker AI 现在可检测推理端点上的延迟漂移、空闲 GPU 和错过的优化机会

Amazon SageMaker AI 现在会持续监控您的生成式 AI 推理端点,并在某项变更可能提升性能或降低成本时通知您。监控默认对 SageMaker AI 推理端点开启,无需任何设置,您也可以选择退出端点监控。SageMaker AI 仅查看运营信号:延迟、GPU 利用率和端点的服务配置。它不会读取您的请求或响应。当某项发现达到其置信度阈值时,AWS 管理控制台上会出现通知,对于在笔记本和 CLI 中工作的团队,同样的消息也会通过电子邮件送达。推荐操作会在 SageMaker AI Studio 中打开 SageMaker AI 代理体验,并已填入该发现,因此分析、比较和部署变更都在一次对话中完成。在您应用之前不会部署任何内容,并且您可以随时关闭监控。

发现分为三种类型:

  • 流量变化后的延迟漂移。当诸如增加检索之类的变化使提示变长时,TTFT 会上升。该发现会量化逐周的回归,并建议针对近期流量重新运行推理建议,以找到能将 TTFT 降回来的配置。
  • 自部署以来就存在的配置差距。该端点从未针对其工作负载进行良好调优,该发现会指出可缩小差距的变更。
  • 空闲 GPU 容量。当容量周复一周地未被使用时,该发现会标记出调整端点规模并降低成本的机会。

就地滚动模型更新(2026 年 11 月)

标准滚动更新一次替换一个批次的端点,每个批次都在新配置的实例上运行。在大型 GPU 集群上,这意味着每一步都要寻找新容量,而当下一批实例不可用时,更新可能会中途失败。每个释放的实例还必须完成清理才能再次使用,这会拖慢推出速度。

SageMaker AI 现在可以就地更新模型。它在开始时配置一小批额外实例,将流量转移到该批次,然后更新其释放的实例,复用它们将变更滚动到集群的其余部分。更新仍分阶段推出,但只需要一次新容量。对于拥有 20 个实例、批次大小为 2 的集群,更新会获取 2 个新实例,而不是 20 个。客户无需更改任何内容。与第 1 部分中的容器缓存一样,该改进会自动应用于滚动模型更新。

Standard rolling update acquiring new instances at each step compared with an in-place update that reuses the fleet

图 6:滚动更新在每一步都会获取新实例。就地滚动更新在开始时获取一个批次,并复用集群的其余部分

对于支持团队而言,Drift Watch 的发现可以量化 TTFT 回归,并针对近期流量开启新的推荐任务。他们只需额外部署一批实例即可推出更新后的模型,而无需为集群中的每个实例寻找新的 GPU 容量。

摘要:14 项发布,接续第 1 部分

编号接续第 1 部分的 13 项发布。

14. SageMaker AI Studio 中的推理推荐(2026 年 7 月)。 一个引导式、低代码的工作流,用于生成经过排名和基准测试的配置,并可从 Studio 部署。

15. SageMaker Python SDK v3 中的推理推荐(2026 年 8 月)。 可从笔记本或流水线进行基准测试、推荐和部署,支持并行和可恢复的任务。

16. 推理推荐中的 LoRA 适配器支持(2026 年 9 月)。 针对并发对适配器数量进行基准测试,并将适配器作为推理组件部署。

17. 基于 SLA 的并发搜索(2026 年 9 月)。 找到满足 TTFT、延迟和错误率目标的最高并发数。

18. 用于优化生成式 AI 推理的 Agent 技能(2026 年 10 月)。 从兼容 MCP 的编码代理中进行实例选择、基准测试和运行比较。

19. SageMaker AI 控制台中的推理组件(2026 年 10 月)。 无需脚本即可在多模型端点上创建、扩展和监控每个模型。

20. 使用 NVIDIA MIG 进行 GPU 分区(2026 年 10 月)。 每个 GPU 最多可划分七个隔离分区,并按推理组件分配。

21. HyperPod Inference 上的托管 NVIDIA Dynamo(2026 年 11 月)。 多节点和分离式服务,由 HyperPod 在底层运营平台。

22. KV 缓存感知路由(2026 年 11 月)。 根据容器的缓存事件,将每个请求路由到持有最长缓存前缀的实例。

23. 适用于 HyperPod 的推理网关(2026 年 9 月)。 每个集群一个端点,支持 GPU 感知路由,P99 TTFT 比轮询低最多 97%。

24. 适用于 HyperPod 的全局推理网关(2026 年 9 月)。 跨集群和区域的一个端点,故障转移时间低于 2 分钟。

25. 跨区域推理路由器。 通过 PrivateLink 在区域和跨账户端点之间路由,并带有溢出和驻留防护措施。

26. 持续性能监控。 检测延迟漂移、配置缺口和闲置容量,并在 SageMaker AI Studio 中提供引导式修复。

27. 就地滚动模型更新(2026 年 11 月)。 在开始时用一批额外实例推出模型更新,然后在集群中复用现有实例。

到年底,支持团队从一个基础模型为四条产品线提供服务,在共享 GPU 上运行其小型模型,为一个任何单个实例都无法容纳的推理模型提供服务,并在两个区域之间路由流量并带有驻留控制。他们无需为此构建自己的基准测试工具、故障转移逻辑或漂移监控。

第 1 部分论证了 AI 推理的优势来自运营高效的推理栈。这 13 项发布将这一论点应用到发布日之后的几个月。AWS Experience-Based Acceleration 计划可以帮助您的团队通过针对您的 SLA 和成本目标对工作负载进行基准测试并配置推理栈,将它们付诸实践。

下一步是什么

在托管终端节点上,我们计划于 2027 年初扩展原地滚动更新,引入先缩容更新(scale-in-first updates),从而在模型更新期间无需任何额外实例。

本文中每项功能的文档和入门指南都在 Amazon SageMaker AI 开发者指南中。请从与你当前问题匹配的章节开始。如果你的流量自部署以来已发生变化,请重新运行推理建议。如果你的放置槽位不足,请将小模型迁移到分区 GPU 上。如果请求排队而你拥有的容量却闲置,请为你的集群和终端节点注册跨区域路由。

参考资料


关于作者

Aryaman Kothari

Aryaman Kothari

Aryaman 是 Amazon SageMaker AI 的高级产品经理,负责领导 Amazon SageMaker HyperPod 上的 AI 推理,帮助企业大规模运行 AI 模型以支持生产工作负载。Aryaman 毕业于芝加哥大学布斯商学院,此前曾领导 Quantiphi 对话式 AI 业务的产品和上市工作。工作之余,他喜欢踢足球、煮印度奶茶和徒步。

Apoorva Chandra

Apoorva Chandra

Apoorva 是 Amazon SageMaker AI 推理团队的高级产品经理,专注于终端节点和托管体验。她与在生产环境中部署生成式 AI 模型的客户合作,让加速计算更易获取、运行更具成本效益、运营更可预测。工作之余,Apoorva 喜欢徒步、探索咖啡馆以及与朋友共度时光。

Vivek Singh

Vivek Singh

Vivek Singh 是 AWS 的高级产品经理,负责领导生成式 AI 推理优化的产品工作,并与在生产环境中运行应用的客户合作。工作之余,他喜欢长途散步、园艺和烹饪。

Kareem Syed-Mohammed

Kareem Syed-Mohammed

Kareem 是 AWS 的首席产品经理。他专注于在 Amazon SageMaker HyperPod 上支持生成式 AI 模型开发和治理。在此之前,他在 AWS Quick Sight 领导嵌入式分析和开发者体验。除 Quick Sight 外,他还曾在 AWS Marketplace 和 Amazon 零售担任产品经理。Kareem 的职业生涯始于呼叫中心技术开发者、Expedia 的 Local Expert 和 Ads,以及麦肯锡的管理咨询顾问。

Vineet Sharma

Vineet Sharma

Vineet 是 AWS 的高级技术产品营销经理,专注于 Amazon SageMaker AI。他擅长上市策略、产品发布,以及将复杂的 AI 和 ML 服务转化为有吸引力的客户价值。他热衷于通过清晰、有影响力的信息传递创造出色的客户体验。

来源:AWS Machine Learning Blog · aws.amazon.com