Amazon SageMaker HyperPod 推出 Global Inference Gateway,跨区域集群共用一个端点
Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters
Amazon SageMaker HyperPod 推出 Global Inference Gateway,把同一区域或跨区域的多个 HyperPod 集群统一到一个 SageMaker 托管端点,由网关选择集群并通过 AWS PrivateLink 转发请求。
在流量高峰期,请求可能会在已饱和的 HyperPod 集群上排队等待,而另一个集群(有时位于另一个 AWS 区域)上的 GPU 却处于空闲状态。你已经为这些容量付费,但你的请求却无法到达那里。
在推出 Amazon SageMaker HyperPod Inference Gateway 中,我们展示了 Inference Gateway 如何为每个 Amazon SageMaker HyperPod 集群提供一个单一的、GPU 感知的端点。它读取键值(KV)缓存利用率和队列深度等实时信号,将每个请求放置在最合适的 pod 上。这解决了单个集群内的路由问题,但无法跨集群。
今天,SageMaker HyperPod 推出 Global Inference Gateway。它是一个由 SageMaker 管理的网关,可在你注册的每个集群之间路由,无论这些集群位于同一区域还是跨区域。该网关选择集群,并通过 AWS 骨干网传输请求,借助 AWS Signature Version 4(SigV4)和 AWS Identity and Access Management(IAM)实现自动故障转移和身份验证。在每个集群内部,Inference Gateway 继续选择 pod,保持不变。Global Inference Gateway 是我们在第 1 部分中描述的架构的第二层。
挑战:容量分散在多个集群和区域
模型越来越大,而用于服务它们的 GPU 容量越来越难获取。为了获得足够的容量,你将其分散到更多集群和更多区域。
设想一个团队在两个区域的五个 HyperPod 集群上服务四个模型。如果没有 Inference Gateway,客户端需要跟踪 20 个端点:每个集群上的每个模型各一个。Inference Gateway 将其减少到五个,每个集群一个。但每个客户端仍然需要自己选择集群。
这种选择是有代价的:
- 负载不均。在高峰期,请求在一个区域排队,而另一个区域的 GPU 却处于空闲状态。
- 手动故障转移。当集群发生故障时,工程师需要更改配置以将流量从该集群移走。
- 自定义管道。跨区域分散流量意味着你需要自行构建和维护负载均衡器、DNS 和跨区域网络。
该团队需要一个端点,能够将每个请求发送到最合适的集群,并自行将流量从故障集群移走。
主要优势
Global Inference Gateway 帮助你更充分地利用已有的 GPU 容量,同时减少运维工作。
- 让空闲 GPU 发挥作用。在高峰期,请求会溢出到同一区域或另一区域中具有可用容量的集群,而不是在已饱和的集群上排队。
- 自动故障转移。当集群发生故障时,网关将其流量转移到次优集群。客户端无需做任何更改。
- 一个端点搞定一切。客户端调用一个由 SageMaker 管理的端点,而不是跟踪每个集群或每个模型的端点。
- 无需自定义网络。你无需构建或维护负载均衡器、DNS 或跨区域网络。
- 默认保持私有。每个请求都通过 SigV4 和 IAM 进行身份验证,并且仅通过 AWS PrivateLink 到达你的集群。
客户反馈
“在 Bagelcode,我们在 AWS 上运行自己的 LLM 推理服务,帮助公司各团队(包括我们的游戏团队)利用 AI 改进工作方式。在 beta 测试中,Amazon SageMaker HyperPod 中的 Global Inference Gateway 通过单一端点将请求路由到两个 AWS 区域,并在其中一个集群无法再提供模型服务时继续处理这些请求。这让我们规模不大的平台团队获得了跨区域故障转移能力,而无需自行构建或维护路由层。”
— Jinhyung Park,Bagelcode 副总裁(AI 平台)
工作原理
设置网关需要做两个决定:开放哪些集群用于路由,以及将其中哪些集群归组到同一个网关之后。
- 发布集群。 每个集群只需执行一次。在集群现有的
InferenceGatewayConfig中开启spec.globalRouting块。随后,HyperPod Inference 控制器会从你自己的账户中私下发布该集群。 - 创建网关。 每个网关只需执行一次。调用
CreateGlobalInferenceGateway并传入要路由的集群,SageMaker 会返回一个端点。
集群只有在发布后才可访问。发布集群时,控制器会在集群的 Inference Gateway 前创建一个 Network Load Balancer,在其上发布虚拟私有云(VPC)端点服务,并将监听器的证书上传到你的 TLS 存储桶。这些资源位于你的账户中。如果你在发布集群之前就将其列入网关,调用会失败,并给出提示告诉你需要修复什么。
请求如何流转
图 1 展示了每个请求的路径:(1) 客户端使用 SigV4 对请求签名,并将其发送到网关的区域端点。(2) 网关对调用方进行身份验证并选择最佳集群。(3) AWS PrivateLink 将请求传送到该集群(同一区域或其他区域),然后 (4) 集群的 Inference Gateway 像现在一样将其路由到模型 Pod。
图 1:Global Inference Gateway 在一个区域端点接收每个请求,并通过 AWS PrivateLink 将其转发到最佳 HyperPod 集群,集群的 Inference Gateway 再将其路由到模型 Pod。每个集群都会将其负载发布回网关。
AWS 负责运营的部分
你决定发布哪些集群、将哪些集群归组到网关之后,以及如何为路由加权。其余部分由 AWS 运营:
- 路由集群。 SageMaker 负责预置和运营该集群,由其终止 TLS、验证调用方、为集群评分并转发每个请求。
- 私有连接。 SageMaker 为每个集群创建一个私有端点,并在 AWS 骨干网上承载流量,包括区域内和跨区域。
- 证书与验证。 该服务使用你创建的执行角色读取每个集群的 VPC 端点服务名称、证书和区域,因此你无需手动复制它们。它会在路由流量之前检查这些内容。
- 健康检查与故障转移。 网关会对每个集群进行健康检查,并自动将流量从故障集群转移开。详情请参阅“运营网关”部分。
- 身份验证与速率限制。 网关会检查 SigV4 签名、IAM 权限和速率限制,并在任何集群看到请求之前拒绝失败的请求。
在每个集群上,一个由服务管理、拥有自己 IAM 角色的指标发布器会将集群负载发送到网关。
网关如何选择集群
对于每个请求,网关会根据四项信号为每个健康集群打分,并将请求发送到得分最高的集群。每个集群的指标发布器提供负载信号。
你可以通过路由权重控制每项信号的占比。每个权重是 0.0 到 1.0 之间的值,权重为 0 表示关闭该信号。如果设置权重,则必须设置全部四项,且总和必须为 1.0。如果省略,则应用下表中的默认值。
| 权重 | 评分依据 | 默认值 |
KVHeadroom |
集群上可用的 KV 缓存和 GPU 内存 | 0.20 |
QueueDepth |
集群的积压程度 | 0.25 |
RegionProximity |
集群与网关所在 Region 之间的距离 | 0.40 |
ErrorRate |
集群上最近的失败请求 | 0.15 |
默认值倾向于选择靠近网关所在 Region 的集群,同时仍将流量导向有可用容量的集群,并远离正在发生故障的集群。如果对您的工作负载而言韧性比邻近性更重要,请提高 ErrorRate 并降低 RegionProximity。例如,以下路由配置块将近期错误的权重设为 0.7:
{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}你在 CreateGlobalInferenceGateway 的 Routing 参数中传入权重,之后可以通过 UpdateGlobalInferenceGateway 更改它们。
选择你的起点
你的路径取决于你当前运行的环境。如果你从单个集群提供服务,请继续使用该集群的 Inference Gateway 端点。当你添加第二个集群时,再迁移到 Global Inference Gateway。
| 起点 | 你要做什么 | 结果 |
| Inference Gateway 在每个集群上运行,例如在 us-east-1 和 us-west-2 的五个集群上运行四个模型 | 更新附加组件,发布每个集群,并创建网关 | 所有集群共用一个端点。在你迁移客户端期间,各集群端点继续提供服务。 |
| HyperPod Inference 附加组件在 Inference Gateway 关闭的情况下运行 | 通过一次附加组件更新和每个集群一次 InferenceGatewayConfig 开启 Inference Gateway,为每个模型添加调度器,然后按照第一行操作 |
按模型划分的端点合并为一个 |
| 两个 Region 中有 GPU 容量,但尚未设置 HyperPod Inference | 在每个 Region 中创建带有 HyperPod Inference 附加组件的 HyperPod 集群,部署你的模型,开启 Inference Gateway,然后按照第一行操作 | 从第一天起就只有一个端点,其流量路由可以精细调整,并且在一个 Region 出现问题时仍能继续提供服务 |
入门
要设置 Global Inference Gateway,你需要准备每个集群、创建执行角色并调用 CreateGlobalInferenceGateway。然后,你将使用 SigV4 签名的 OpenAI 兼容请求发送到网关端点。有关分步说明(包括 IAM 角色和策略),请参阅 AWS 文档。
安全与访问
对网关的每个请求都使用 SigV4 签名并通过 IAM 授权。调用方需要具有调用网关的权限,流式传输有其自己的操作:
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": [
"sagemaker:InvokeGlobalInferenceGateway",
"sagemaker:InvokeGlobalInferenceGatewayWithResponseStream"
],
"Resource": "arn:aws:sagemaker:<region>:<account-id>:global-inference-gateway/<gateway-id>"
}]
}将此策略附加到每个发送请求的 IAM 身份。要允许账户中的所有网关,请使用 global-inference-gateway/* 作为资源。
执行角色遵循最小权限原则。它只能描述你列出的集群,只能访问这些集群的 Amazon Elastic Kubernetes Service (Amazon EKS) API,并且只能读取你的 TLS 存储桶中 gig/ 前缀下、标记为由 HyperPod Inference 创建的路由证书。
身份令牌。如果你的集群会校验 JSON Web Token(JWT),请通过 --customer-identity-token(即 X-Amzn-SageMaker-Customer-Identity-Token 头)传递令牌,不要加 Bearer 前缀。令牌会包含在 SigV4 签名中传输,因此未签名的令牌会被拒绝并返回 403,重复的令牌会被拒绝并返回 400。请在所有提供模型的集群上开启 JWT 校验,或者全部都不开启,以免请求在一个集群上成功、在另一个集群上失败。
请求仅通过 AWS PrivateLink 到达你的集群,如图 1 所示。网关不会记录或存储提示词或补全内容。
运行网关
以下是配置网关的步骤。
添加集群
按照文档说明准备新集群,并在其上为执行角色创建 EKS 访问条目。同时将新集群添加到执行角色权限策略的 Resource 列表中。然后,在网关所在的 Region 调用 AddInferenceGateway,即使新集群位于另一个 Region:
aws sagemaker add-inference-gateway \
--identifier <gateway-name> \
--region <region> \
--cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
--name <gateway-config-name-3> \
--namespace inference-gateway网关会校验该集群,并在其健康后开始向其路由流量。端点、其他集群和客户端不受影响。
分离集群
在网关所在的 Region 调用 RemoveInferenceGateway:
aws sagemaker remove-inference-gateway \
--identifier <gateway-name> \
--region <region> \
--cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
--name <gateway-config-name-3> \
--namespace inference-gateway网关会停止向该集群发送新请求,让进行中的请求完成,并移除私有端点。网关始终至少保留一个集群。要完全撤下该集群,请在其 InferenceGatewayConfig 中设置 globalRouting.enabled: false 并重新应用。
删除网关
调用 DeleteGlobalInferenceGateway:
aws sagemaker delete-global-inference-gateway \
--identifier <gateway-name> --region <region>网关端点停止服务,各集群端点继续服务。删除网关后,用 globalRouting.enabled: false 撤下每个集群,然后删除执行角色以及你为全局路由添加的 IAM 权限。
下表总结了常见事件和变更对流量有何影响。
| 事件 | 会发生什么 | 你需要做什么 |
| 网关创建失败 | 网关进入 FAILED 状态,FailureReason 会说明失败原因,例如证书名称不匹配 |
修复原因。要查看每个集群的状态,请调用 ListInferenceGateways。 |
| 某个集群故障 | 流量会转移到次优集群,该集群恢复后会逐步重新接收流量。失败的请求会在另一个集群上重试一次,除非它已经开始流式传输。如果没有剩余的健康集群,网关会返回 503。 | 无需操作。客户端无需做任何更改。 |
| 更改路由权重 | 新请求使用新权重,进行中的请求按旧权重完成。不会重新预置任何资源。 | 调用 UpdateGlobalInferenceGateway |
| 添加集群 | 集群健康后开始路由。其他方面没有变化。 | 参见添加集群 |
| 分离集群 | 新请求停止,进行中的请求完成 | 参见分离集群 |
| 删除网关 | 网关端点停止服务,各集群端点继续服务 | 参见删除网关 |
如需任何故障排除帮助,请参阅故障排除指南。
最佳实践和注意事项
- 发布前先规划好分组。确定哪些集群位于每个网关之后,并确保所有应共享某个模型流量的集群使用相同的
modelName。如果你希望峰值流量跨 Region 溢出,请为两个 Region 中的集群预留余量。 - 只发布你添加到网关的集群。已发布但不在任何网关中的集群不会收到流量,但其 Network Load Balancer 仍在运行并产生费用。
- 覆盖所有模型。
InferenceGatewayConfig中的每个调度器都会将模型名称映射到为其提供服务的 Pod。不在任何调度器中的模型无法通过网关访问,对其的请求会返回 404 错误。 - 保持您的附加组件配置完整。使用
--resolve-conflicts OVERWRITE时,不完整的配置可能会重置您的负载均衡器或 TLS 设置。每次都要从当前配置开始。 - 在每条
kubectl命令上传递--context。您要跨多个集群工作,因此请确保每条命令都针对您想要的集群运行。 - 需要时,将工作负载保留在一个区域内。创建一个仅包含该区域内集群的网关。
结论
在本文中,我们介绍了 Amazon SageMaker HyperPod Global Inference Gateway:一个由 SageMaker 管理的端点,横跨您的 HyperPod 集群,可位于一个或多个区域。该网关根据 KV 缓存余量、队列深度、区域邻近性和错误率来选择集群,并在集群发生故障时将流量转移,而无需更改客户端。
Global Inference Gateway 在 13 个 AWS 区域可用:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、南美洲(圣保罗)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(斯德哥尔摩)、亚太地区(东京)、亚太地区(孟买)、亚太地区(新加坡)和亚太地区(悉尼)。
要开始使用,请参阅 AWS 文档。
关于作者
Dmitry Soldatkin
Dmitry 是 AWS 的 Amazon SageMaker AI 推理全球专家解决方案架构负责人。他帮助客户设计、构建和优化生成式 AI 和机器学习解决方案,专注于推理性能优化、深度学习以及在企业范围内扩展 ML。在之前的职位中,他曾在金融服务、保险和电信公司领导团队。
Aryaman Kothari
Aryaman 是 Amazon SageMaker AI 的高级产品经理,负责领导 Amazon SageMaker HyperPod 上的 AI 推理,帮助企业大规模运行 AI 模型以支持生产工作负载。Aryaman 毕业于芝加哥大学布斯商学院,此前曾领导 Quantiphi 对话式 AI 业务的产品和上市工作。工作之余,他喜欢踢足球、泡印度奶茶和徒步旅行。
Piyush Daftary
Piyush 是 Amazon SageMaker AI 的首席软件工程师,负责为大型语言模型构建高性能、可扩展的推理系统,包括 SageMaker HyperPod Global Inference Gateway。他热衷于解决复杂的分布式系统挑战,并让生成式 AI 推理更快、更具成本效益。他的技术兴趣包括大规模模型服务、GPU 效率和分布式推理。工作之余,他喜欢旅行、徒步和与家人共度时光。
来源:AWS Machine Learning Blog · aws.amazon.com
