跳到正文
AWS Machine Learning Blog· Vinay Arora·· 14 小时前AI 评分58

Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AI 导读

Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离以及 KV-aware 路由与 HyperPod 的基础设施管理结合起来。

正文 · AI 翻译

高效服务大型语言模型(LLM)需要足够的 GPU 内存,并仔细协调提示处理与 token 生成。例如,GLM-5.3 的 FP8 权重在单个 ml.p5.48xlarge 实例上就超过了 640 GB 的 GPU 内存,这还未计入 KV 缓存和运行时开销。当长提示与 token 生成共享同一批 GPU 时,长提示也会拖慢 token 生成。

Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理相结合,以应对这些挑战。Dynamo 是一个开源分布式推理框架,支持多节点部署、分离式预填充与解码,以及配合 vLLM、SGLang 和 TensorRT-LLM 等引擎的 KV 感知路由。HyperPod 通过高性能 Elastic Fabric Adapter (EFA) 网络、协调的 GPU 调度以及节点健康监控与恢复来支持这些部署。在本文中,我们通过一个部署示例说明多节点和分离式服务,分享基准测试结果,并概述在 HyperPod 上优化推理的最佳实践。

集成工作原理

HyperPod Inference 附加组件安装 Dynamo 自定义资源定义以及以下服务和调度组件:

  • HyperPod Inference Operator 通过 InferenceEndpointConfig (IEC) 自定义资源管理端点部署。其 dynamoSpec 部分提供 Dynamo 配置。
  • Dynamo operator 管理 DynamoGraphDeployment (DGD) 中定义的资源,包括前端、模型工作节点、副本数和资源需求。
  • Grove 协调相关的 Pod 组,包括多节点工作节点及其扩缩关系。
  • Kubernetes AI (KAI) Scheduler 将 Pod 放置到 GPU 资源上,使用 gang 调度将多节点工作节点所需的 Pod 一起调度。

AWS Deep Learning Containers (DLC) 提供 Dynamo 运行时,而附加组件管理集成组件的版本。要采用受支持的 Dynamo 版本,请更新附加组件。

部署架构

下图展示了 SageMaker HyperPod 上分离式推理的部署路径、服务组件和基础设施管理。Dynamo 前端将请求路由到处理提示的预填充工作节点和生成 token 的解码工作节点。这些独立的池允许独立扩缩和调优。两个池都加载完整的模型权重,KV 缓存通过 EFA 在两者之间传输。

Dynamo 还支持聚合式服务,即预填充和解码在同一工作节点中运行。无论采用哪种拓扑,工作节点都可以在一个实例上运行,或使用张量并行和流水线并行跨多个实例运行。Dynamo 的 KV 感知路由器在两种拓扑中都会考虑可复用的前缀 KV 缓存和活跃工作节点负载。前缀复用可以减少提示重新计算并改善首 token 时间,而负载感知有助于避免工作节点过载。有关 Dynamo 架构的更多详细信息,请参阅 Dynamo Knowledge Base 概述。

HyperPod 提供节点、GPU 和 EFA 健康监控并管理节点替换,而编排组件会重建受影响的工作节点。通过 InferenceEndpointConfig 配置且带有 dynamoSpec 的部署支持通过 SageMaker 端点进行调用。

Architecture diagram of NVIDIA Dynamo on SageMaker HyperPod with the frontend routing to prefill and decode workers over EFA

图 1:Amazon SageMaker HyperPod Inference 上 NVIDIA Dynamo 的部署路径、服务组件和基础设施管理

配置部署的两种方式

无论您是初次接触 HyperPod、初次接触 Dynamo,还是两者都是初次接触,该附加组件都提供两种部署路径以契合您的工作流程:

自带 DynamoGraphDeployment (DGD) 让现有 Dynamo 用户能够继续使用上游文档、配方和清单,并由 Dynamo operator 管理部署。要将现有 DGD 引入 HyperPod,请使用受支持的容器镜像,并为您的集群配置存储、网络和 Pod 放置。

使用 dynamoSpec 的 InferenceEndpointConfig 让现有 HyperPod Inference 用户能够使用他们熟悉的相同配置格式和 OpenAI 兼容接口来部署新的 Dynamo 端点。对于推理引擎,您可以选择 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。该 operator 还为 KV 感知路由和副本数提供默认值。

两种路径均支持单实例和多节点部署。无论采用哪种方式,HyperPod 都会管理节点健康状况和替换。下表总结了每种路径的职责。

自带 DGD 使用 dynamoSpec 的 InferenceEndpointConfig
您编写 完整的 DGD 清单 包含 dynamoSpec 的 IEC
最适合 希望直接控制服务图或复用现有 DGD 的团队 希望通过 IEC 进行托管端点设置的团队
模型权重 您配置权重的下载或挂载 该 operator 从 Amazon Simple Storage Service (Amazon S3) 或 Amazon FSx 暂存权重
端点、TLS、注册 您配置和管理这些资源 通过 HyperPod Inference Operator 管理
自动扩缩 您配置和管理扩缩 通过 autoScalingSpec 使用 Kubernetes Event-driven Autoscaling (KEDA),适用于聚合和分离部署

部署示例:GLM-5.3

以下摘录使用 InferenceEndpointConfig (IEC) 部署路径,在 ml.p5.48xlarge 实例上使用 vLLM。Dynamo 特定设置位于 spec.dynamoSpec 下。模型源和端点设置包含在完整清单中。

多节点聚合服务

此配置在两个实例(16 个 GPU)上运行一个 model-worker 副本,并使用两个前端副本处理请求。将 dynamoSpec.frontend.routingMode 设置为 kv-aware 可开启 KV 感知路由。

spec:
  replicas: 1
  dynamoSpec:
    modelServer: vllm
    frontend:
      replicas: 2
      routingMode: kv-aware
    aggregation:
      nodesPerReplica: 2
      tensorParallelism: 16

此处,spec.replicas 控制 model-worker 副本数,而 frontend.replicas 控制前端副本数。

多节点分离服务

将 spec.dynamoSpec 下的 aggregation 替换为以下 disaggregation 块,并保留前面的前端配置。副本数分别针对 prefill 和 decode 设置。此示例运行一个 prefill 副本和两个 decode 副本,每个副本跨两个实例,总共六个实例。

disaggregation:
  prefill:
    nodesPerReplica: 2
    tensorParallelism: 16
    replicas: 1
  decode:
    nodesPerReplica: 2
    tensorParallelism: 16
    replicas: 2

应用部署

使用 kubectl apply 应用完整清单。HyperPod Inference Operator 使配置的模型权重可供 worker 使用,并生成 DGD。Grove 和 KAI Scheduler 协调放置,使每个多节点 worker 所需的 Pod 一起调度。

在 SageMaker 端点就绪并配置为聊天补全后,客户端可以通过 SageMaker Runtime API 发送 OpenAI 兼容的请求负载:

aws sagemaker-runtime invoke-endpoint \
--endpoint-name glm53 \
--content-type application/json \
--body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \
--cli-binary-format raw-in-base64-out \
out.json

基准测试

我们在 SageMaker HyperPod 上对两个模型运行了 Dynamo 基准测试,以比较服务配置。

Qwen3-235B 的分离式 prefill 和 decode

我们使用 AIPerf 在兩台 p5en.48xlarge 執行個體(16 張 H200 GPU)上,以 Dynamo 搭配 TensorRT-LLM 比較 Qwen3-235B-A22B-FP8 的聚合式與分離式服務。請求包含 4,000 個輸入 token 與 200 個輸出 token。我們保留符合兩項目標的實測資料點:P90 首 token 時間低於一秒,且每位使用者的中位生成速度至少為每秒 50 個 token。在這些資料點中,分離式服務達到聚合式最高輸送量的 2.05 倍:分別在並行數 80 與 32 時,每 GPU 每秒輸出 207 個對 101 個 token。

Throughput comparison for Qwen3-235B: disaggregated serving at 207 versus aggregated at 101 output tokens per second per GPU

圖 2:Qwen3-235B-A22B-FP8 的聚合式與分離式服務輸送量比較

Qwen3.5-397B 的多節點聚合式服務

Dynamo 針對超出單一執行個體 GPU 記憶體的模型,同時支援聚合式與分離式模式的多節點服務。為了評估跨節點的工作節點,我們使用 AIPerf,以 Dynamo 與 vLLM、TP4 × PP2 及八張作用中的 H200 GPU,對 Qwen3.5-397B-A17B-FP8 的多節點聚合式服務進行基準測試。此模型可容納於單一執行個體,因此實務上不會將其拆分。此處僅作為受控基準。我們比較單台 p5en.48xlarge 上的八張 GPU,與兩台執行個體各四張 GPU,使用相同的模型、平行化與工作負載配置。在並行數 32、具備高前綴重用的代理式工作負載下,兩節點配置達到每 GPU 每秒 126.4 個輸出 token,保留單節點輸送量的 99.1%。這顯示 SageMaker HyperPod 上的 Dynamo 可服務需要跨節點使用多台執行個體的模型。節點邊界本身不會成為顯著的輸送量懲罰。

Throughput comparison for Qwen3.5-397B: two-node serving at 126.4 output tokens per second per GPU, 99.1% of single-node throughput

圖 3:Qwen3.5-397B-A17B-FP8 多節點聚合式服務的單節點與兩節點輸送量比較

最佳化推論的最佳實務

NVIDIA Dynamo 提供配方與工具,協助您在 SageMaker HyperPod 上選擇服務配置、進行效能基準測試,並調校您的部署。

  • 從相符的配方開始 – 為您的模型、推論引擎與 GPU 類型選擇 Dynamo 配方。在決定工作節點規模時,請將模型權重、KV 快取與執行期記憶體納入考量。對於支援的配置,AISimulate 可協助比較聚合式與分離式服務、選擇平行化方式,並在 GPU 上測試前先決定 prefill 與 decode 工作節點集區的規模。
  • 在基準測試前驗證通訊 – 對於跨執行個體的部署,請確認通訊使用預定的 EFA 傳輸,包括 prefill 與 decode 工作節點之間的 KV 快取傳輸。請參閱 Dynamo EFA 指南。
  • 以具代表性的流量進行基準測試 – 使用 AIPerf 重播您的流量,或使用具備代表性提示長度、輸出長度與前綴重用的生成的代理式追蹤。針對每種配置掃描並行數,保留符合您 SLA 的資料點,並依成本與延遲優先順序進行選擇。
  • 根據實測瓶頸進行調校 – 先調整拓撲與工作節點配置,再調整引擎設定,且一次只變更一個變數。請遵循效能調校指南,或使用 Dynamo 最佳化代理技能協助進行基準測試與調校。在您目標的 HyperPod 部署上驗證每個候選配置。

結論

SageMaker HyperPod 推理上的 NVIDIA Dynamo 通过多节点服务、分离式预填充与解码以及 KV 感知路由,简化大型模型的部署与运维。托管附加组件会安装服务组件,配置默认值可简化端点设置。HyperPod 负责管理模型权重、根据 GPU 和推理指标自动扩缩集群、监控节点健康状态并替换故障节点。这些能力共同减少了非差异化的基础设施工作,使团队能够专注于其模型和应用。请参阅链接仓库中的设置说明和完整部署示例以开始使用。

致谢

作者感谢来自 NVIDIA 的 Eliuth Triana、Felipe Garcia、Sanjana Checker、Junyuan Yang、Jiahong Liu、Anish Maddipoti、Jacob Kern 和 Abdullahi Olaoye 对本文的贡献。我们也感谢来自 AWS 的 Can Sun、Ophelia Yang、Aryaman Kothari、David Oh 和 Ayush Kumar 的贡献。


关于作者

Vinay Arora

Vinay Arora

Vinay 是 AWS 的生成式 AI 专家解决方案架构师,过去 6 年一直与客户合作,利用 AWS 技术和基础设施设计前沿 AI 解决方案。在加入 AWS 之前,Vinay 在金融领域拥有超过二十年的经验——包括在银行和对冲基金任职——他构建过风险模型、交易系统和市场数据平台。Vinay 拥有计算机科学和商业管理硕士学位。

Piyush Daftary

Piyush Daftary

Piyush 是 AWS 的首席软件工程师,负责在 Amazon SageMaker HyperPod 上为大型语言模型构建推理系统。他专注于优化路由、分离式服务和自动扩缩架构,帮助客户从其 GPU 集群中获取最大性能。他的背景涵盖分布式系统、数据库和搜索技术。工作之余,他喜欢旅行和与家人共度时光。

Xuan Lu

Xuan Lu

Xuan 是 AWS 的软件开发工程师,负责 Amazon SageMaker HyperPod 推理,构建和扩展大规模 LLM 推理系统。他的工作重点是分布式推理、智能请求路由和性能优化,在基于 Kubernetes 的编排和 LLM 服务基础设施方面拥有经验。工作之余,他喜欢旅行、探索自然和阅读科幻小说。

Preethi Ravula

Preethi Ravula

Preethi 是 AWS ISV 团队负责生成式 AI、数据、存储与分析业务的解决方案架构经理。她领导一个团队,帮助软件供应商在 AWS 上构建和扩展生成式 AI。她从事 AI 战略和推理优化工作,并开发框架和操作手册,帮助客户在 AWS Trainium 和 NVIDIA GPU 上更快、更具成本效益地运行大型语言模型工作负载。Preethi 曾在 GHC 2025、SJSU 和 Women in Tech Dublin 发表演讲。她还通过一项 AWS 项目推动 AI 教育,该项目教学生使用 AWS 生成式 AI 服务构建应用。

Sai Devulapalli

Sai Devulapalli

过去六年,Sai 一直领导 Amazon SageMaker AI 全球 GTM 团队。他与 AWS 全球各地面向客户的 AI Specialist 负责人紧密合作,并与客户方的 C/VP 级利益相关者沟通,了解他们的需求,为其构建和执行公司 AI 平台战略提供指导。Sai 与 SageMaker AI 服务领导层合作,帮助指导服务路线图,以更好地满足客户需求;他在 AI/ML 平台领域已有 16 年经验,曾在 Dell EMC 和 Pivotal 领导业务发展和产品管理团队,在此之前,他在北美领导 Ericsson 的数据分析和 ML 实践。

Aryaman Kothari

Aryaman 是 Amazon SageMaker AI 的高级产品经理,负责领导 Amazon SageMaker HyperPod 上的 AI 推理,帮助企业大规模运行 AI 模型以支持生产工作负载。Aryaman 毕业于 Chicago Booth,此前曾领导 Quantiphi 对话式 AI 业务的产品和上市工作。工作之余,他喜欢踢足球、煮印度奶茶和徒步。

Kshitiz Gupta

Kshitiz Gupta

Kshitiz 是 NVIDIA 的高级解决方案架构师,帮助云客户设计和优化 GPU 加速的数据与 AI 系统。他的工作涵盖数据处理、向量数据库和 LLM 推理,并与 AWS 和 Amazon 团队紧密合作,将这些能力投入生产。工作之余,他喜欢音乐、瑜伽和徒步。

Marc Karp

Marc Karp

Marc 是 NVIDIA 的高级解决方案架构师,帮助客户在 GPU 上部署和扩展 AI 推理。他的工作横跨推理栈,从模型优化和分布式服务到为其提供支持的引擎。工作之余,他喜欢旅行和探索新地方。

Wenhan Tan

Wenhan Tan

Wenhan 是 NVIDIA 的解决方案架构师,帮助客户大规模采用 NVIDIA AI 解决方案。他的工作重点是加速深度学习应用,并解决推理和训练方面的挑战。

来源:AWS Machine Learning Blog · aws.amazon.com