跳到正文
AWS Machine Learning Blog· Mijanur Palash·· 1 天前AI 评分38

Amazon SageMaker HyperPod 推出增强基础设施可观测性能力

Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod

AI 导读

Amazon SageMaker HyperPod 新增增强可观测性能力,可帮助用户更快诊断 GPU 训练问题,同时支持 Amazon EKS 和 Slurm 两种编排器。

正文 · AI 翻译

大规模模型训练是你能在 GPU 上运行的最昂贵的工作负载之一,而单个不健康的加速器就可能拖垮整个分布式作业。当训练吞吐量下降时,难点很少在于察觉出了问题。真正的难点在于弄清楚原因和位置。团队往往要花费数小时甚至数天翻查日志和彼此割裂的仪表盘,才能判断变慢是源于 GPU 被限流、网络链路饱和,还是主机上的数据管道停滞。

今天,我们宣布 Amazon SageMaker HyperPod 增强可观测性,这项新能力可帮助你更快诊断 GPU 训练问题。它汇集了针对在 Amazon Elastic Kubernetes Service(Amazon EKS)和 Slurm 编排器上运行的训练工作负载的诊断与性能分析能力:

诊断摘要使用 Amazon CloudWatch 的 DetectGroupOutliers API,在利用率、内存、温度、功耗和 SM 时钟方面比较训练作业中的每个 GPU,并标记出偏离同类的 GPU。静态诊断规则可揭示常见故障模式,例如 GPU 硬件故障(XID 错误、ECC 内存错误)、EFA 吞吐量下降、热节流和过热,让你在性能退化影响训练之前就将其捕获。

为什么需要它

分布式训练成本高昂,微小的低效会累积成大量浪费的 GPU 小时。在此之前,要了解 HyperPod 基础设施的可见性,意味着要把彼此独立的工具拼凑起来,而且即便如此,指标也只告诉你性能已经退化,却没有告诉你原因。

增强可观测性填补了三个空白。它能在数百或数千个 GPU 中隔离出单个故障加速器——无论是通过 XID 错误、ECC 内存故障还是热节流——让你把时间花在修复上,而不是搜寻上。

这些能力共同缩短了故障排查时间,并帮助你让昂贵的加速器保持忙碌。

工作原理

每项能力针对分布式训练作业的不同层面。

默认指标与高级指标

增强可观测性在两个层级收集遥测数据:

默认指标(自动启用)涵盖集群健康、CPU/磁盘/操作系统级使用情况、GPU 利用率和温度,以及按作业的资源利用率。这些指标每 30 秒收集一次,并发送到你选择的指标存储,CPU 开销约为 1–2%,内存占用为 250–300 MB。

高级指标(需主动启用)提供更深入的可见性:

  • 完整的 node exporter 套件:全面的主机级指标。
  • 所有 NVIDIA GPU DCGM 和 AWS Neuron 指标:详细的加速器遥测数据,包括时钟速度、功耗、PCIe 活动和错误指示。
  • Elastic Fabric Adapter(EFA)指标:网络接口吞吐量、丢包、重传和错误。

高级指标是可选的,因为它们会增加发送到指标存储的遥测数据量,从而带来成本影响。大多数在小集群上运行小型作业的客户可能不需要它们,但对于在大型集群上长时间运行的训练作业来说,它们是必不可少的,因为模式会随时间显现。

指标存储

你可以在两种指标存储之间选择:

  • Amazon CloudWatch(新的默认选项)通过 CloudWatch SageMaker Insights 提供原生监控,因此你无需离开 AWS 管理控制台即可可视化指标。
  • Amazon Managed Service for Prometheus,适用于以 Prometheus 和 Grafana 作为可观测性标准方案的团队。

此前仅支持 Prometheus。现在 CloudWatch 成为默认选项,与 Amazon Managed Service Prometheus 相比价格更低,并且与 SageMaker 控制台集成更紧密。

诊断摘要

诊断摘要采用两种互补方法来呈现 HyperPod 集群中的问题。

GPU 异常检测使用 CloudWatch 的 DetectGroupOutliers API,在训练任务中比较各 GPU 的利用率、内存使用量、温度、功耗和 SM 时钟频率。当某个 GPU 与同类 GPU 出现显著偏差时,它会在诊断摘要中显示为异常卡片。此功能适用于 EKS 和 Slurm 任务。

静态诊断规则评估已知的故障模式,并按类型组织检测到的问题:

  • 硬件:GPU ECC 内存错误、XID 故障、加速器故障。
  • 网络:EFA 吞吐量下降、丢包、重传。
  • 节流:因温度、板卡或可靠性限制导致的 GPU 时钟节流。
  • 过热:GPU 温度超过配置的限制。

每个检测到的问题都会标识受影响的任务、集群、节点、加速器和 rank。

如何开始使用

增强可观测性以附加组件的形式提供给 EKS 编排的集群,以扩展的形式提供给 Slurm 编排的集群,这意味着您可以通过 AWS Identity and Access Management (IAM) 控制谁可以安装或更改它。

步骤 1:创建 SageMaker HyperPod 集群

如果您已有集群,可以直接使用。要创建新的 SageMaker HyperPod 集群,您可以按照分步概述操作。一般来说,步骤如下:

  1. 在 Amazon SageMaker AI 控制台的导航窗格中,选择 HyperPod clusters。
  2. 选择 Create HyperPod 集群,然后选择 Orchestrated on Amazon EKS 或 Orchestrated by Slurm。
  3. 对于 Setup options,选择 Custom setup。
  4. 对于 Name,输入一个名称。
  5. 对于 Instance recovery,选择 Automatic。
  6. 选择 Submit。

以下截图显示了 Create HyperPod cluster 页面。

Create HyperPod cluster page on Amazon EKS with Custom setup selected

图 1:使用 Custom setup 在 Amazon EKS 上创建 HyperPod 集群

步骤 2:配置 HyperPod 可观测性

在 Custom setup 工作流中,展开 HyperPod observability 部分:

  1. Enable HyperPod Observability 默认处于选中状态。仅在您不需要可观测性时才取消选中。
  2. Observability metrics 显示默认指标(集群健康、CPU/磁盘/操作系统、GPU 利用率/温度、每任务资源)以及可选的高级指标。
  3. 根据需要选择高级指标:完整 node exporter 套件、所有 NVIDIA GPU DCGM/Neuron 指标和 EFA 指标。
  4. Enable logging 以创建用于容器和 Pod 日志的 CloudWatch 日志组。
  5. 对于 Metric store,选择 Amazon CloudWatch(默认)或 Amazon Managed Service for Prometheus。
  6. 对于 Grafana workspace,选择创建新工作区、使用现有工作区或选择 None。
  7. 配置 IAM 角色,或让控制台自动创建它们。

下图显示了自定义设置路径中 HyperPod 可观测性的配置选项:

HyperPod observability section showing default and advanced metrics, metric store, and Grafana workspace options

图 2:HyperPod observability 部分,显示默认和高级指标、指标存储(CloudWatch 或 Prometheus)以及 Grafana 工作区

注意:在快速设置中,HyperPod 可观测性默认启用且无法取消勾选。自定义设置可让您控制启用哪些指标类别和高级指标。

第 3 步:使用 CLI 安装可观测性附加组件(备选方案,EKS)

您可以从 AWS 管理控制台或通过 API 安装 HyperPod 可观测性附加组件(EKS)或扩展(Slurm)。或者,您也可以使用 AWS Command Line Interface(AWS CLI)安装该附加组件。

以下命令创建附加组件,启用基本指标类别,并保持可选的分析功能关闭:

aws eks create-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --configuration-values '{
        "metricsDestination": "cloudwatch",
        "metricsProvider": {
            "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}
        },
        "profilesProvider": {
            "hostProfiling": {"enabled": false}
        }
    }'

验证附加组件处于 ACTIVE 状态:

aws eks describe-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --query 'addon.status'

下图显示了集群的 Add-ons 选项卡上的可观测性附加组件。

Add-ons tab on a HyperPod EKS cluster showing the Amazon SageMaker HyperPod observability add-on as Active with Amazon CloudWatch as the metrics store

图 3:集群 Add-ons 选项卡上的可观测性附加组件,处于活动状态并向 Amazon CloudWatch 发送指标

第 4 步:启用指标(EKS)

您可以随时启用或禁用任何指标类别或分析功能。对于 EKS 集群,请使用 AWS Command Line Interface(AWS CLI)更新附加组件配置。以下命令开启高级网络(EFA)指标:

aws eks update-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --configuration-values '{
        "metricsDestination": "cloudwatch",
        "metricsProvider": {
            "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30}
        }
    }'

在控制台中,选择附加组件卡片上的 Actions,然后选择 Edit 进行相同的更改。下图显示了 Actions 按钮。

Observability add-on Actions menu with Edit, Update version, Delete, and View in EKS options

图 4:使用 Actions → Edit 启用或禁用指标类别和分析

Slurm 集群:安装或编辑可观测性扩展

在由 Slurm 编排的集群上,HyperPod 可观测性是一个集群扩展。从集群详情页面打开 Extensions 选项卡。如果扩展已安装,请选择 Actions,然后选择 Edit。下图显示了 Slurm 集群 Extensions 选项卡上的可观测性扩展。

Slurm cluster Extensions tab showing the HyperPod observability extension as Active

图 5:Slurm 集群 Extensions 选项卡上的可观测性扩展,带有 Actions → Edit

编辑页面为每个指标类别设置收集级别。

Edit HyperPod observability page for a Slurm cluster showing metric categories with collection levels, host profiling, and metric store

图 6:在 Slurm 集群上编辑可观测性:指标类别、主机分析和指标存储

要改用 AWS CLI 安装扩展:

aws sagemaker create-cluster-extension \
    --cluster-arn <cluster-arn> \
    --extension-name sagemaker-observability \
    --region <region> \
    --configuration-values '{
        "metricsProvider": {
            "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
            "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
        },
        "profilesProvider": {"hostProfiling": {"enabled": false}}
    }'

要开启 EFA 指标,请更新扩展:

aws sagemaker update-cluster-extension \
    --cluster-arn <cluster-arn> \
    --extension-arn <extension-arn> \
    --region <region> \
    --configuration-values '{
        "metricsProvider": {
            "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
            "acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
            "networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
        }
    }'

使用 aws sagemaker describe-cluster-extension --cluster-arn <cluster-arn> --extension-arn <extension-arn> 检查状态。

第 5 步:确认指标正在流式传输

集群就绪后,导航到集群详情页面。新的 Observability 选项卡会显示一个概览,包含:

  • 节点:节点总数(例如 128)。
  • 加速器:GPU/加速器总数(例如 1024)。
  • 作业:活动和最近的训练作业数量。
  • 平均 GPU 利用率:整个集群的平均值(例如 87.3%)。
  • 平均 vCPU 利用率:整个集群的平均值(例如 76.8%)。
  • 平均内存利用率:整个集群的平均值(例如 83.5%)。

下图显示了 Cluster Observability 选项卡,其中包含概览指标、活动和最近的训练作业以及活动问题:

Cluster Observability tab with overview metrics, active and recent training jobs, and active issues

图 7:新的 Observability 选项卡——集群概览、活动训练作业和检测到的问题

CloudWatch 仪表板

在 Observability 选项卡中,选择 Open dashboard 导航到 CloudWatch SageMaker Insights 体验。该仪表板提供多个视图:

诊断摘要

诊断摘要显示在您的 HyperPod 集群中检测到的事件。精准定位根本原因,无论是硬件故障、网络问题、限流还是过热。

选择任意事件卡片可查看更多详情。每张卡片标明了受影响的任务、集群、加速器和 rank。

以下截图展示了 Diagnostic summary 标签页:

Diagnostic summary tab listing detected incidents with severity, job, cluster, accelerator, issue type, and a cross-layer summary

图 8:Diagnostic summary,每张事件卡片标明任务、集群、加速器和问题类型,并附有跨层解释

下图展示了一个事件详情:

Incident detail showing overview, detection, resolution, affected job and instance, and network evidence charts against the fleet average

图 9:事件详情,展示受影响的任务、集群、实例和加速器,并附有与集群平均值对比的证据图表

Hardware 标签页

Hardware 标签页提供加速器集群的设备级视图。集群拓扑图显示每台设备的状态(Active、Idle 和 Unhealthy)。设备表列出加速器类型、所属团队、利用率、温度、EFA 使用率、状态以及每台设备上运行的工作负载。你可以按状态、加速器或团队搜索和筛选,快速找到不健康的设备。

以下截图展示了 Hardware 标签页:

Hardware tab with fleet topology of device states and a device details table

图 10:Hardware 标签页,展示集群拓扑以及每台设备的加速器、团队、利用率、温度、EFA、状态和工作负载

Workload 标签页

Workload 标签页列出活跃和近期的训练任务及其类型(例如分布式训练、微调或强化学习)、状态和时长。它还显示每个任务的资源使用情况:EFA、GPU 和 CPU 利用率以及内存。该标签页会标记网络使用异常的任务。

以下截图展示了 Workload 标签页:

Workload tab listing training jobs with type, status, duration, and per-job EFA, GPU, CPU, and memory usage.

图 11:Workload 标签页,展示训练任务及每个任务的 EFA、GPU、CPU 和内存使用情况

你可以选择一个任务查看更多详情。以下截图展示了任务详情视图:

Job detail view with core compute, memory and bandwidth, clock and thermal metrics, workload charts, and Profile CPU and Inspect NCCL actions

图 12:任务详情,展示加速器指标

Network 标签页

Network 标签页汇总了分布式工作负载的节点间通信网络的健康状况。概览指标包括集群平均 EFA 利用率、降级节点数和重传次数。按实例类型细分则显示每种实例类型中健康节点和降级节点的占比。

以下截图展示了 Network 标签页:

Network tab with fleet EFA utilization, degraded nodes, retransmits, average NCCL all-reduce latency, and EFA health by instance type.

图 13:Network 标签页,展示网络概览和按实例类型划分的 EFA 健康状况

Amazon Managed Grafana 仪表板

在集群 Observability 标签页或 Add-ons 页面,选择 Open dashboard in Grafana 即可访问预构建的 Amazon Managed Grafana 仪表板。这些仪表板让你对 HyperPod 集群拥有全栈可见性,来自 CloudWatch 或 Prometheus 的遥测数据会按集群、节点、GPU、网络和任务维度进行可视化。

注意:如果首次使用 Grafana,必须先配置 AWS IAM Identity Center 并添加 Grafana 用户。在创建集群时选择 Grafana 指标存储选项,会提供相关文档链接。

以下截图展示了一个预构建的 Grafana 仪表板:

Prebuilt Amazon Managed Grafana dashboard visualizing full-stack HyperPod telemetry.

图 14:预构建的 Grafana 仪表板,展示每个节点和 GPU 的 GPU 性能指标

现已推出

Amazon SageMaker HyperPod 中的增强可观测性现已在所有提供 SageMaker HyperPod 的 AWS 区域推出。

了解更多:


关于作者

Mijanur Palash

Mijanur Palash

Mijanur 是 AWS AI/ML 基础设施团队中专注于 GenAI 的 WW 专家解决方案架构师,他帮助客户在 Amazon SageMaker HyperPod 上训练和部署大规模模型。他专注于分布式训练、GPU 和 AWS Trainium 基础设施,以及面向各行业高要求机器学习工作负载的性能优化。LinkedIn

Farrukh Sohail

Farrukh Sohail

Farrukh 是 AWS 的高级产品营销经理。他与产品、工程和现场团队合作,为客户训练大规模模型带来新的 Amazon SageMaker HyperPod 功能。工作之余,他喜欢阅读历史类非虚构作品和徒步。LinkedIn

Aman Pratap Singh

Aman Pratap Singh

Aman 是 Amazon SageMaker HyperPod 的高级软件工程师,负责 SageMaker HyperPod 上大规模 LLM 训练和推理的可观测性。他的工作重点是构建监控和可靠性基础,使一些最大的 AI 工作负载能够在大规模下平稳运行。LinkedIn

Uday Singamala

Uday Singamala

Uday 是 AWS 的软件开发工程师,从事大规模 AI/ML 基础设施工作。作为 Amazon SageMaker HyperPod 团队的一员,他帮助构建和改进用于分布式训练和高性能 AI 工作负载的系统。他的经验涵盖分布式系统、Kubernetes 编排、GPU 计算和集群可观测性。LinkedIn

Subodh Kamble

Subodh Kamble

Subodh 是 AWS SageMaker HyperPod 团队的 SDE II,帮助客户训练和部署大规模 LLM 模型。他专注于构建有助于分布式训练的大规模集群,并通过可观测性和弹性功能为各行业高要求的机器学习工作负载支持这些集群。他的经验涵盖 Kubernetes、可观测性和弹性。LinkedIn

Sai Kiran Akula

Sai Kiran Akula

Sai 是 Amazon SageMaker HyperPod 团队的工程经理,领导面向大规模 ML 训练和推理的可观测性和智能体平台计划。他在构建可扩展云基础设施和分布式系统方面拥有丰富经验,此前曾参与 EC2、ECS、AWS Fargate 和 SageMaker 等核心 AWS 服务的工作。他热衷于解决复杂技术挑战、构建以客户为中心的解决方案,并帮助团队交付可靠且可扩展的 AI 基础设施。LinkedIn

来源:AWS Machine Learning Blog · aws.amazon.com