Amazon SageMaker HyperPod

亚马逊为 SageMaker HyperPod 的 PyTorch DDP 训练循环加入三项静默数据损坏（SDC）检测检查，在硬件不报错的情况下从训练任务侧识别异常并定位可疑节点，随后隔离污染并恢复。该方案针对大规模分布式训练中错误数值悄然污染梯度与权重的痛点，Meta 在 Llama 3 405B 预训练中曾将 419 次意外中断中的 6 次归因于 SDC。