AWS 介绍 HyperPod 训练中检测静默数据损坏的方法

AWS 团队介绍在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查，用于检测静默数据损坏：all-reduce 前后的 NaN/Inf 梯度检查、跨节点环形重放审计，以及优化器更新后的权重指纹比对。 该方法要求集群由 Amazon EKS 编排且至少有 3 个 GPU 节点；环形审计每次比对需要 3 个不同节点，权重比对需要每份权重的 3 个副本才能找出异常的那一份。替换节点会销毁其根卷和辅助卷，包括本地 NVMe 上的数据。AWS 建议在生产环境中对每次替换保留人工审批，直到在自身工作负载上验证了这些检查的精度。

AI 根据报道生成 · 27 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。