在 Amazon SageMaker HyperPod 上检测与恢复静默数据损坏

静默数据损坏（Silent Data Corruption）是一种 GPU 故障，会返回错误但看似合理的数值且不报任何错，在分布式训练中悄悄污染权重。这篇 AWS 官方博客给出在 PyTorch DDP 训练循环中加入的三项检测检查，用于在训练过程中发现数值异常。检测到异常后，方案会定位到具体故障节点，并交给 SageMaker HyperPod 的自动恢复机制替换该节点，训练无需人工干预即可继续。对跑大规模 GPU 集群训练的团队来说，这是一份可直接落地的工程方案。 第二段：技术机制上，作者把三项检查嵌入 PyTorch DDP 循环：通过注入已知的测试张量并比对各 rank 的输出来确认计算正确性，用跨 rank 的损失/梯度一致性校验来发现某个节点悄悄算错的情况，再结合日志与节点健康信息把故障收敛到单台机器。确认故障节点后，HyperPod 的自动恢复流程接管节点替换，避免损坏数据继续进入 checkpoint。 第三段：这类问题在数千卡规模的训练里并不罕见，NVIDIA 和 Meta 都公开讨论过 GPU 静默故障对长周期训练的影响，但多数团队缺少系统化的检测手段。相比只依赖监控告警或人工排查，这套方案的思路是把检测做进训练循环本身，配合 HyperPod 的节点自愈能力形成闭环，对自建或租用 GPU 集群做预训练和微调的工程团队有直接参考价值。