Amazon SageMaker HyperPod Slurm 推出托管集群扩展,覆盖可观测性与用户管理
Introducing managed cluster extensions for observability and user management in Amazon SageMaker HyperPod Slurm
Amazon SageMaker HyperPod 为 Slurm 集群推出托管集群扩展,首批包含可观测性(sagemaker-observability)和用户管理(含目录集成)两类软件扩展,可通过 API 或 SageMaker AI 控制台安装、配置、更新和移除。
让用于基础模型开发的共享 Slurm 集群保持同步,意味着要让若干分别维护的配置片段与节点上实际运行的内容保持一致。集群的形态存在于多个配置文件中,其软件存在于自定义脚本中,其网络拓扑存在于必须随节点变化而编辑的文件中,其用户存在于管理员必须维护并重新运行的名册中。随着时间推移,这些片段会偏离实际运行的内容,而没有任何机制会在发生偏离时告知你。
我们认为集群配置应当像管理其余 AWS 基础设施那样进行管理。你通过 API 或控制台声明所需状态,AWS 在应用前进行验证,集群持续保持在该状态,并且你可以看到它是否正常运行。在 2026 年期间,Amazon SageMaker HyperPod 将这一方法引入 Slurm 集群,提供 API 驱动的 Slurm 配置、基于 AMI 的配置、持续预置、自动拓扑管理和深度健康检查。今天,我们推出了集群扩展,将同样的方法应用于运行中节点上的软件和设置,并提供用于可观测性和用户管理的托管扩展。然而,在这一切之中,你仍然保留对集群中每个节点的完全访问权限,包括控制器节点。你可以通过 SSH 登录、直接配置节点,并运行自己的生命周期脚本。API 让你需要维护的内容更少,直接访问让你拥有更多控制权,你可以自行选择平衡点。
在本文中,我们逐一介绍 2026 年推出的各项功能,并解释为什么运行中节点上的软件需要一种不同的机制。随后,我们通过 API 和控制台展示集群扩展的工作方式,并跟随一个平台团队走过使用这些扩展的一个季度。
Slurm 集群运维的声明式基础

我们可以将 Slurm 集群的配置视为分为六个层次。其中五个层次描述集群本身:其定义、节点设置、容量、网络拓扑和硬件健康。第六个层次涵盖节点上运行的软件,我们将在下一节讨论。下图展示了这六个层次。
2026 年早些时候,我们为前五个层次引入了声明式管理。通过 API 驱动的 Slurm 配置,管理员在 CreateCluster 和 UpdateCluster 请求中定义节点角色、分区以及 Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 挂载,并连接外部记账数据库。HyperPod 在更新分区设置的同时保留其他控制器节点上的 Slurm 自定义配置。基于 AMI 的配置用预配置了 Slurm、Docker、Enroot、Pyxis 和主目录的镜像取代常规设置脚本。自定义 AMI 或 OnInitComplete 脚本可处理组织特定的软件。Slurm 的持续预置会在后台重试容量请求;基于 AMI 的配置可与之配合,最低容量要求让团队可以指定 MinInstanceCount,集群操作则跟踪扩缩容请求。
自动拓扑管理会在节点扩缩容或被替换时维持网络布局。在 Slurm 25.11 或更高版本中,分区级拓扑支持为每个分区配置树形或块状拓扑。在硬件健康方面,按需深度健康检查会对 GPU 施压并测试 NVIDIA 集合通信库(NCCL)连通性,而带持续预置的深度健康检查会在节点预置过程中运行。处于检查中的节点会一直保留在 Slurm 维护预留中,直到检查完成,从而避免作业调度到这些节点上。
引入集群扩展
到目前为止描述的五层都是 HyperPod 在预置节点时可以一次性推导或应用的配置。第六层是运行在节点上的软件,其行为有所不同,因为它在集群的整个生命周期中会不断变化。随着研究人员加入和离开,某个团队会要求在一周内获取更深入的 GPU 指标,某个 exporter 也会发布修复。对于这一层,生命周期脚本一直是主要机制,但当软件不断变化时,它们存在缺点。脚本只在节点预置时运行,因此每次变更都意味着编辑脚本,然后替换节点或在整个集群中重新运行它。错误只有在脚本于某个节点上运行时才会暴露,而且没有任何机制报告已安装的内容,因此节点会随着时间推移逐渐产生差异。
我们希望软件能在一处声明、在提交时接受检查、在各节点间保持一致,并在之后可见。2026 年 11 月,我们推出了集群扩展,这是由 AWS 管理的软件包,你可以通过 API 或 Amazon SageMaker AI 控制台安装、配置、更新和移除,首批软件扩展从可观测性和用户管理(包括目录集成)开始。与脚本相比,扩展具有以下优势:
- 预先验证:当你通过 API 或控制台提交扩展的设置时,HyperPod 会根据其 schema 检查这些设置,因此拼写错误的设置会在到达任何节点之前被拒绝。
- 在每个节点上保持一致:HyperPod 会将扩展应用到每个节点,包括通过扩容或替换新增的节点,并在集群扩缩容和自愈过程中保持节点一致。
- 通过 API 或控制台进行变更:你可以通过 API 调用或从 SageMaker AI 控制台更改设置或升级版本,而不必编辑脚本并替换节点。两种路径使用相同的已验证配置,本文在 API 示例旁展示了控制台截图。
- 可见:每个扩展都会报告其状态和每个节点的健康状况。
当 HyperPod 提供托管软件能力时,请使用集群扩展。对于现有扩展未覆盖的组织特定软件或初始化,请使用自定义 AMI 和生命周期脚本。HyperPod 目前支持两种集群托管扩展:
- 可观测性扩展(sagemaker-observability)会收集节点、GPU、Elastic Fabric Adapter(EFA)、Slurm 作业和 Slurm 集群指标,并将它们发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus。
- 用户管理扩展(sagemaker-user-management)会在每个节点上创建具有相同 ID 的用户和组,控制每种节点类型上谁可以使用 SSH 和 sudo,并将用户注册到 Slurm 记账系统。它还可以将集群连接到 Active Directory,例如 AWS Directory Service for Microsoft Active Directory。
下图展示了扩展如何到达你的节点。
图 2:HyperPod 可以安装、编辑或移除扩展。HyperPod 记录期望的配置,节点代理会在每个节点上应用扩展包(包括新增和替换的节点),健康探针会回报状态和健康问题
使用集群扩展
你可以从 SageMaker AI 控制台或通过 API 使用集群扩展。在控制台中,集群详情页上的 Extensions 选项卡会列出每个扩展及其状态、版本和 ARN,也是你安装新扩展的地方。每个扩展都会添加自己的控件,例如可观测性方面的指标存储和“在 Grafana 中打开仪表板”按钮,以及用户管理方面的用户和组数量以及“管理用户”按钮。你还可以通过 API(从 AWS CLI 或 SDK)管理每个扩展,以编写安装脚本、将设置纳入版本控制、在多个集群间重复同一套配置,或从自己的工具中检查状态和健康情况。下表列出了六个集群扩展 API,从安装扩展到列出可升级的版本,以及扩展的控制台视图。
图 3:左侧是六个集群扩展 API 及各自的作用。右侧是用于添加和移除扩展的控制台视图
下图展示了调用这些 API 之一后会发生什么。
图 4:你通过 API 声明扩展的版本和设置。HyperPod 会验证并记录它们,按节点角色将其应用到每个节点,并回报状态和健康情况
创建或更新扩展时,HyperPod 会在 API 调用期间根据该版本的架构验证你的设置,因此拼写错误的设置会被立即拒绝。然后它会将版本和设置记录为期望状态并应用它们,每个节点只安装其角色所需的内容,例如仅在 GPU 节点上安装 GPU 导出器。新增和替换的节点会在启动几分钟后获得相同的状态,每个节点都会回报扩展是否已应用以及是否健康。
更新时只发送你想要更改的设置,HyperPod 会将它们合并到已存储的设置中。仅在某个节点上出现的问题(例如端口或用户 ID 已被其他东西占用)会显示在 DescribeClusterExtension 的 Health 字段中,按原因分组,并附带代码、消息和受影响节点数。HyperPod 会自动重试内部故障;对于其他问题,你修复原因后调用 UpdateClusterExtension 且不做任何更改,即可重试受影响的节点。
在变更推出期间,扩展的状态为 Creating 或 Updating;当每个节点都运行请求的版本和设置且没有节点报告问题时,状态为 Active;当某些节点失败或报告问题时,状态为 Degraded。每个扩展都有自己的 ARN,因此平台团队可以拥有 sagemaker-user-management,而监控团队可以拥有 sagemaker-observability。每个健康问题都会指明组件、描述对集群的影响、给出下一步操作,并统计受影响的节点数,因此你无需登录每个节点就能知道该去哪里查看,如下图所示。
图 5:扩展的状态,以及一个未运行的 node exporter 的健康问题示例
何时使用集群扩展,何时使用生命周期脚本
一个有用的判断方法是问:软件归谁所有,以及它多久变更一次。集群上有些软件是贵组织特有的,例如安全代理、许可证服务器,以及数据管道所期望的存储布局。生命周期脚本和自定义 AMI 是适合它们的工具,因为只有你的团队知道它需要什么。其余的是几乎每个集群都需要的软件,例如 GPU 和作业指标,以及具有一致 ID 和访问规则的用户账户。这类软件必须在每个节点上保持一致,并且不断变化,因此集群扩展更合适,因为你只需声明一次,HyperPod 会对其进行验证,并且每个扩展都会报告自己是否健康。
这两种方法可以共存,但每个组件应只有一个所有者。不要通过生命周期脚本和扩展同时管理同一个 exporter、用户或服务,因为相互竞争的配置可能导致安装或运行时冲突。集群扩展可与所有生命周期配置选项配合使用。
如果你已经通过脚本运行这些能力,可以一次迁移一个能力到扩展,迁移期间脚本和扩展可以并行运行。对于每个能力,迁移需要四个步骤:
- 调用 UpdateClusterSoftware 将集群迁移到 2026 年 11 月或之后的 HyperPod AMI。
- 在生命周期脚本中关闭该能力,并将脚本上传到你的 S3 存储桶,以便新节点跳过它。
- 在计划的维护窗口期间,停止并移除每个节点上由脚本安装的代理。这是唯一需要手动、全集群范围操作的步骤。
- 调用 CreateClusterExtension 在干净的集群上安装扩展。
如果有任何遗留内容,安装过程会指出冲突,例如端口已被占用,DescribeClusterExtension 会在 Health 下显示该冲突。对于用户管理,你会保留相同的用户名和用户 ID。下图展示了四个步骤。
图 6:将现有集群从生命周期脚本迁移到扩展,一次迁移一个能力
开始使用集群扩展需要什么
你需要一个运行 2026 年 11 月 2 日或之后 HyperPod AMI 的 HyperPod Slurm 集群,并启用持续预置。扩展会以 root 身份在每个节点上运行软件,因此请将 CreateClusterExtension、UpdateClusterExtension 和 DeleteClusterExtension 视为管理员权限。我们建议不要将它们授予集群的执行角色,因为每个能登录节点的用户都可以使用该角色的凭证。该角色确实需要访问扩展所使用的目标,这意味着可观测性需要访问 Amazon CloudWatch 或 aps:RemoteWrite,用户管理读取的 Active Directory 密钥需要 secretsmanager:GetSecretValue。如果这些密钥使用客户管理的 AWS Key Management Service (AWS KMS) 密钥加密,该角色还需要对该密钥具有 kms:Decrypt 权限。用户管理还需要一个共享文件系统(例如 Amazon FSx for Lustre)来存放主目录。
有关操作步骤、IAM 策略和配置参考,请参阅 Amazon SageMaker AI 开发者指南中的适用于 Amazon SageMaker HyperPod Slurm 集群的集群扩展。
一个平台团队使用集群扩展管理共享 Slurm 集群的历程
要了解集群扩展在实际中如何使用,可以考虑一个平台团队,该团队为多个研究组管理一个共享的 Slurm 集群。该团队需要一份可审查的集群定义、GPU 和作业指标、企业目录访问、为合作实验室提供的本地账户,以及可观测性和用户管理的独立所有权。以下示例展示了该团队如何配置这些能力,并应对日常变更和故障。
通过一份定义创建集群
管理员在单个 CreateCluster 请求中声明整个集群,包括节点角色、分区、FSx 挂载、最小容量、深度健康检查和外部记账数据库。有关完整的示例请求,请参阅使用 AWS CLI 开始使用 SageMaker HyperPod。
该请求没有生命周期配置、拓扑文件或 Slurm 配置文件。每个 SlurmConfig 为其实例组指定一个角色,GPU 组加入 train 分区。基于 AMI 的配置会设置节点,安全团队的合规代理已包含在自定义 AMI 中。GPU 组请求 8 个节点并要求至少 6 个,因此只要 6 个节点就绪作业即可开始,同时 HyperPod 会配置其余节点,并在每个 GPU 节点到达时对其进行健康检查。HyperPod 会自行选择 P5 节点的树形拓扑,记账数据写入团队拥有的 Amazon Relational Database Service(Amazon RDS)数据库。管理员仍可通过 SSH 登录控制器节点,直接检查或调整 Slurm。
安装可观测性
领导层希望获得 GPU 和作业指标,因此管理员安装可观测性扩展。在 SageMaker AI 控制台的集群“扩展”选项卡上,管理员选择可观测性扩展,选择指标类别及其级别和收集间隔,并从两个指标存储中选择一个:Amazon CloudWatch 或 Amazon Managed Service for Prometheus。以下截图显示了已选择一个存储的安装表单。另一个选项可在同一字段中选择。
图 7:从控制台安装可观测性扩展,可配置指标级别并选择指标存储
通过 API 进行同样的安装只需一次 create-cluster-extension 调用。以下示例使用 Amazon CloudWatch 作为指标存储。若要将指标发送到 Amazon Managed Service for Prometheus,则在同一配置中设置 Prometheus 目标。
管理员通过一次 create-cluster-extension 调用安装该扩展:
aws sagemaker create-cluster-extension \
--cluster-arn arn:aws:sagemaker:us-west-2:{{111122223333}}:cluster/{{abcd1234efgh}} \
--extension-name sagemaker-observability \
--configuration-values file://observability-config.json该调用返回扩展的 ARN,管理员在后续调用中使用该 ARN:
{
"ExtensionArn": "arn:aws:sagemaker:us-west-2:111122223333:extension/sagemaker-abcd1234efgh/sagemaker-observability/0a1b2c3d4e5f"
}无论以哪种方式安装,每个节点只运行与其角色相关的组件,例如 GPU 节点上的 DCGM 和 EFA 导出器,以及控制器上的 Slurm 集群指标。架构错误会在推出前被拒绝,而节点特定的冲突会显示在扩展健康状态中。
安装后,该扩展会显示在集群的“扩展”选项卡上,并显示其版本、状态和 ARN。截图显示了已安装可观测性和用户管理两个扩展且两者均为“活动”状态的集群的该选项卡。
图 8:已安装可观测性和用户管理两个扩展的集群的“扩展”选项卡
无论你选择哪种指标存储,都可以在安装中添加 Amazon Managed Grafana 工作区,这样团队就无需从零开始构建仪表板。登录 Grafana 后,他们会看到两个预创建的仪表板:Clusters 和 Jobs,如下图所示。
图 9:Amazon Managed Grafana 中可观测性扩展自带的 Clusters 和 Jobs 仪表板
Clusters 仪表板基于该扩展收集并发送到你所选指标存储的指标,提供 HyperPod Slurm 集群的单一视图。顶部汇总了集群健康状况:实例数量和健康状态、GPU 和 GPU 内存总量、vCPU、内存以及 Amazon FSx for Lustre 容量。它还显示 Slurm 本身的状态,包括节点状态(空闲、已分配、混合、宕机、排空中)、作业队列、失败或被抢占的作业以及调度器活动。在此基础上,你可以按集群、节点或 GPU 进行筛选,深入查看 EFA 网络、GPU 性能和错误,以及主机级 CPU、内存、磁盘和网络指标,如下图所示。这样你无需离开仪表板,就能从“我的集群健康吗?”一路追查到问题的根本原因。
图 10:Clusters 仪表板,从集群整体健康状况和 Slurm 状态一直下钻到每个节点的 GPU、EFA 和主机指标
Jobs 仪表板从集群级健康状况下钻到单个 Slurm 作业。它利用任一指标存储中 Slurm 作业导出器的指标,将每个作业的资源使用情况关联回作业本身。你可以按集群、作业 ID、作业名称、分区、用户或账户进行筛选,查看每个作业的 CPU、内存、GPU 利用率、GPU 内存和磁盘 I/O,以及加速器和 NCCL 指标。这样更容易发现未充分利用的 GPU、卡住的作业或分布式训练中的通信瓶颈,如下图所示。
图 11:Jobs 仪表板,显示各个 Slurm 作业的资源使用情况
开启更深入的 GPU 和 NCCL 指标
后来,一个正在调优多节点训练的研究团队要求提供更多细节,于是管理员只发送需要更改的设置:
aws sagemaker update-cluster-extension \
--cluster-arn {{cluster-arn}} \
--extension-arn {{observability-extension-arn}} \
--configuration-values '{"metricsProvider":{"acceleratedComputeMetrics":{"level":"ADVANCED"},"ncclMetrics":{"level":"ENABLED"}}}'HyperPod 会将这些设置合并到已存储的配置中,并应用到每个节点,只重启设置发生更改的组件。调查结束后,将两者都设为 null 即可恢复默认值,整个过程不会替换节点,也不会重新运行脚本。
修复指标交付问题
一天早上,该扩展显示为 Degraded。一个新的实例组的执行角色缺少 aps:RemoteWrite,describe-cluster-extension 显示了这一影响:
{
"NodeSummary": { "TotalCount": 19, "ActiveCount": 11 },
"Health": {
"Issues": [
{
"Code": "ExtensionUnhealthy",
"Message": "otel-exporter-health: no successful exports in 5m6s",
"NodeCount": 8
}
]
}
}管理员添加权限后,节点报告健康,扩展恢复为 Active,无需重新安装任何内容。
授予人员访问权限
用户管理扩展管理每个节点上的 Linux 用户和组,以及谁可以在每种节点类型上登录并使用 sudo。你声明应该存在哪些用户及其权限,HyperPod 会将其应用到每个节点,包括后来添加或替换的节点,因此无需任何人连接节点或运行脚本来添加或删除用户。用户来自你在配置中列出的本地账户、通过 LDAPS 的 Active Directory,或两者兼有;每个组都会指定其成员可以通过 SSH 登录并获得免密 sudo 的节点类型(controller、login 或 compute)。
对于平台团队,安全部门希望使用企业身份,sudo 仅保留给管理员,而一个不在目录中的合作实验室需要拥有自己的账户。管理员在同一个配置中声明这两个来源,并通过组规则指定每个组可以登录哪些节点类型以及在这些节点上使用 sudo:
{
"sharedFilesystemMount": "/fsx",
"userSources": {
"localUsers": {
"groups": [
{ "name": "cluster-admins", "gid": 3002,
"ssh": [ { "nodeTypes": ["controller", "login", "compute"] } ],
"sudo": [ { "nodeTypes": ["controller", "login", "compute"] } ] },
{ "name": "partner-lab", "gid": 3101,
"ssh": [ { "nodeTypes": ["login", "compute"] } ] }
],
"users": [
{ "username": "admin-1", "uid": 2001, "groups": ["cluster-admins"] },
{ "username": "partner-1", "uid": 2101, "groups": ["partner-lab"] }
]
},
"ldap": {
"ldapUri": ["ldaps://{{ad.example.com}}"],
"ldapSearchBase": "{{dc=example,dc=com}}",
"ldapDefaultBindDn": "{{CN=ReadOnly,OU=Users,DC=example,DC=com}}",
"ldapDefaultAuthtokSecretArn": "arn:aws:secretsmanager:us-west-2:{{111122223333}}:secret:{{ad-readonly-AbCdEf}}",
"ldapTlsCacertSecretArn": "arn:aws:secretsmanager:us-west-2:{{111122223333}}:secret:{{ldaps-ca-GhIjKl}}",
"domain": "{{example.com}}",
"useFullyQualifiedNames": "ENABLED",
"ldapGroups": [
{ "name": "{{ClusterAdmin@example.com}}",
"ssh": [ { "nodeTypes": ["controller", "login", "compute"] } ],
"sudo": [ { "nodeTypes": ["controller", "login", "compute"] } ] },
{ "name": "{{ml-researchers@example.com}}",
"ssh": [ { "nodeTypes": ["login", "compute"] } ] }
]
}
}
}访问是显式的,因此安装扩展后,只有授予 SSH 访问权限的组以及默认的 ubuntu 用户才能登录。目录用户将其身份和组成员身份保留在 Active Directory 中,而合作实验室的用户获得相同的 ID、主目录和默认的 Slurm root 账户。
同一配置可以从控制台进行管理。在用户管理扩展上选择 Manage users 会打开集群的 Users 选项卡,管理员可以在其中添加、编辑和删除组和用户,并设置每个组可以登录哪些节点类型以及在这些节点上使用 sudo,如下图所示。
图 12:在控制台上管理用户管理扩展的组和用户
升级扩展以获取新功能,无需更新 AMI
当 AWS 发布扩展的新版本时,管理员列出可安装的版本,并就地升级,无需更新 AMI:
aws sagemaker list-cluster-extension-versions \
--extension-name sagemaker-observability
aws sagemaker update-cluster-extension \
--cluster-arn {{cluster-arn}} \
--extension-arn {{observability-extension-arn}} \
--extension-version {{new-version}}HyperPod 会根据新版本的 schema 检查存储的设置,如果这些设置对新版本无效,则拒绝请求,不做任何更改。否则,新版本将推广到每个节点,之后加入的节点也会获得该版本。升级只能向前进行,因此管理员选择一个维护窗口。随后,可以通过像之前那样的更新来启用该版本带来的任何新设置或功能。
扩展集群并替换故障节点
在季度末运行之前,管理员在 GPU 组上启动按需深度健康检查,然后使用 batch-add-cluster-nodes 添加节点。请求在 HyperPod 接受后立即返回,因此管理员将其作为集群操作来跟踪:
aws sagemaker list-cluster-operations \
--cluster-name shared-gpu-cluster \
--status InProgress随着容量到位,每个节点都会进行健康检查、加入 Slurm、在拓扑中占据其位置,并获得两个扩展,其版本和设置与其他所有节点相同。如果运行期间 GPU 发生故障,替换节点会以相同方式配置并获取扩展。
审查谁拥有访问权限
在季度末,安全部门询问谁在控制器上拥有 sudo 权限,管理员通过 API 回答,而无需登录到节点:
aws sagemaker describe-cluster-extension \
--cluster-arn {{cluster-arn}} \
--extension-arn {{user-management-extension-arn}} \
--query ExtensionDetails.ConfigurationValues --output text |
jq '[.userSources.localUsers.groups[]?, .userSources.ldap.ldapGroups[]?]
| map(select(any(.sudo[]?; .nodeTypes | index("controller")))) | map(.name)'答案是 cluster-admins 和 ClusterAdmin@example.com,并且目录组的成员资格在目录中进行审计。由于每个扩展都有自己的 ARN,平台团队的角色只能更新 sagemaker-user-management,监控团队的角色只能更新 sagemaker-observability,而安全部门对两者具有只读访问权限。这些权限都不应属于集群的执行角色。当扩展处于 Active 状态、ActiveCount 等于 TotalCount 且 Health 为空时,每个节点都运行完全相同的配置。
可用性与定价
集群扩展(包括可观测性和用户管理扩展)自 2026 年 11 月起已在所有支持 Amazon SageMaker HyperPod 的区域提供,本文中的其他改进已于 2026 年早些时候发布,每次发布都列出了其区域。集群扩展不收取额外费用。您需要为与其一起使用的 AWS 资源付费,例如 Amazon CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager。
图 13:自 2026 年 11 月起可用的两个扩展
结论
当集群的更多部分被声明、验证、收敛和可观测时,集群就更容易运行。今年的改进将这一点带到了 HyperPod Slurm 集群的定义、节点设置、容量、网络拓扑和硬件健康方面,而自 2026 年 11 月起可用的集群扩展则将其带到了节点上的软件——这一变化最频繁的层。生命周期脚本和自定义 AMI 仍然专注于贵组织特有的内容,控制器节点也仍然归您所有。
要创建如本文所述的集群,请参阅使用 AWS CLI 开始使用 SageMaker HyperPod。要开始使用集群扩展,请参阅Amazon SageMaker AI 开发人员指南中的集群扩展。欢迎在评论中或通过您的 AWS 客户团队分享反馈。
致谢
此功能由多个团队共同贡献。参与开发的部分人员包括 Hengyu Lou、Aman Pratap Singh、Karthick Ravi、Shubh Nisar、Nitish Sai Kommasai、Uday Singamala、Min Badar、Devanshi Desai、Yahya Hassan、Connie Chen、Kashish Tayal、Oleg Talalov、Takuma Yoshitami、Kiran Penta、Dhawal Parkar、Pradeep Cruz。
关于作者
Austin Cherian
Austin 是 AWS 的 Amazon SageMaker AI 产品经理,专注于 Amazon SageMaker HyperPod,凭借其在高性能计算领域的背景,帮助客户在 AWS 上大规模充分利用 AI 工作负载。在此之前,他曾在 AWS HPC 组织担任产品经理,领导 AWS ParallelCluster 的开发,确保其不断成长,为客户在 AWS 上部署 HPC 工作负载提供顺畅体验。他在 AWS 的早期职务包括 HPC 解决方案架构师和常驻新加坡的 APJ 地区 HPC 开发者布道师。
Aravind Neelakantan
Aravind 是 AWS 的专家解决方案架构师,专注于生成式 AI 训练和推理。他的专业领域涵盖 AI 和高性能计算,研究兴趣包括异构架构上 AI 工作负载的性能优化。在加入 AWS 之前,他为大规模 AI 集群开发参考架构,并专注于使用硬件加速器进行推理优化。他拥有佛罗里达大学异构 HPC 架构博士学位。
Mayank Gupta
Mayank 是一位资深 AI/ML 专家,在机器学习框架和企业 AI 架构方面拥有深厚专业知识。他在 AWS AI 服务(包括 SageMaker AI 和 SageMaker HyperPod)方面拥有丰富的实践经验,并领导涵盖模型开发、分布式训练和生产规模部署的端到端 AI 解决方案的设计与交付。凭借在性能优化和可扩展 ML 架构方面的深厚经验,Mayank 与客户合作,将复杂的业务挑战转化为安全、高影响力、可投入生产的 AI 系统,从而带来可衡量的成果。
Ajay Mahendru
Ajay 是 Amazon SageMaker HyperPod 团队的工程负责人,负责大规模 AI 训练基础设施的集群控制平面和数据平面。他拥有近二十年的软件工程经验,其中九年涉及 SageMaker Inference、Processing 和 HyperPod。他专注于为 GPU 集群设计和交付可靠、可扩展的平台。
Anirban Roy
Anirban 是 AWS SageMaker 团队的首席工程师,主要专注于 AI 训练基础设施、韧性与可观测性。他拥有加尔各答印度统计学院计算机科学硕士学位。Anirban 是一位经验丰富的分布式软件系统构建者,拥有 20 多年经验以及多项专利和出版物。他喜欢公路骑行、阅读非虚构作品、园艺和自然旅行。
Sai Kiran Akula
Sai 是 Amazon SageMaker HyperPod 团队的工程经理,负责领导面向大规模 ML 训练和推理的可观测性与智能体平台计划。他曾在 EC2、ECS、AWS Fargate 和 SageMaker 上构建云基础设施和分布式系统,并帮助团队交付可靠、可扩展的 AI 基础设施。
Satish Gollaprolu
Satish 是 Amazon SageMaker HyperPod 团队的软件工程师,负责为大规模 ML 训练构建 GPU 集群基础设施。他在 AWS 工作了 7 年以上,先后参与 SageMaker Clarify、Training 和 HyperPod,致力于解决分布式系统问题,为客户提供更可靠的基础设施。
来源:AWS Machine Learning Blog · aws.amazon.com









