Llama 3 405B

AWS SageMaker HyperPod 新增 SDC 检测功能，以保护大规模 AI 训练

Amazon SageMaker HyperPod 引入了新的方法来检测和从大规模 AI 模型训练期间的静默数据损坏 (SDC) 中恢复。SDC 发生时，硬件（如 GPU）会产生不正确但看似合理的结果，而不会引发错误，这可能导致计算资源浪费和模型性能下降。新检查已集成到 PyTorch 的 DistributedDataParallel 训练循环中，可识别非有限梯度、比较权重指纹并执行环重放审计，以查明故障硬件。