用 NVIDIA Attribution 诊断分布式 AI 工作负载故障

Diagnose Distributed AI Workload Failures with NVIDIA Attribution

AI 导读

NVIDIA Attribution 可诊断分布式 AI 工作负载故障：单个 GPU 或网络结构事件会在其他 rank 上表现为 NCCL 错误、调度器状态变化和大量下游消息，报出的异常只显示工作负载停在哪里，而非故障起点。文章介绍如何在示例工作负载证据上运行 NVIDIA Attribution。

正文 · AI 翻译

在分布式 AI 工作负载中，单个错误可能引发一连串症状。一个 GPU 或 fabric 事件可能在其他 rank 上表现为 NCCL 错误、调度器状态……

在分布式 AI 工作负载中，单个错误可能引发一连串症状。一个 GPU 或 fabric 事件可能在其他 rank 上表现为 NCCL 错误、调度器状态变化，以及成千上万条下游消息。所报告的异常显示的是工作负载停止的位置，而非故障开始的位置。在本文中，你将了解如何基于示例工作负载证据运行 NVIDIA Attribution……

来源

来源：NVIDIA Technical Blog · developer.nvidia.com