Today for AI
返回热点榜
compute热度 19.5°

AI 聚合热点事件 · 2026/11/12

亚马逊 HyperPod 新增静默数据损坏检测与恢复机制

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/12 07:30:03
全景综述与最新动态
1 家信源交叉印证

亚马逊为 SageMaker HyperPod 的 PyTorch DDP 训练循环加入三项静默数据损坏（SDC）检测检查，在硬件不报错的情况下从训练任务侧识别异常并定位可疑节点，随后隔离污染并恢复。该方案针对大规模分布式训练中错误数值悄然污染梯度与权重的痛点，Meta 在 Llama 3 405B 预训练中曾将 419 次意外中断中的 6 次归因于 SDC。

最新动向/亚马逊为 SageMaker HyperPod 的 PyTorch DDP 训练循环加入三项静默数据损坏（SDC）检测检查，在硬件不报错的情况下从训练任务侧识别异常并定位可疑节点，随后隔离污染并恢复。该方案针对大规模分布式训练中错误数值悄然污染梯度与权重的痛点，Meta 在 Llama 3 405B 预训练中曾将 419 次意外中断中的 6 次归因于 SDC。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时，暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. AWS Machine Learning BlogT1·72 分

    亚马逊 HyperPod 新增静默数据损坏检测与恢复机制

    原标题：Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

    • SDC 不触发硬件报错，传统健康检查与节点替换无法覆盖，必须从训练任务内部检测
    • 方案在 DDP 训练循环中加入三项检查，命中后将可疑 rank 映射到节点并隔离恢复
    • Meta 在 Llama 3 405B 预训练 54 天内将 419 次中断中的 6 次归因于 SDC