AWS 介绍 HyperPod 静默数据损坏检测方法

AWS 发布技术博客，介绍在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏（SDC）：非有限梯度检查捕获 NaN/Inf，环形重放审计比对另一节点重算的 loss 与梯度指纹，权重指纹比对发现优化器更新后的副本差异。 该方法要求集群由 Amazon EKS 编排且至少有 3 个 GPU 节点，完整代码发布在配套 GitHub 仓库。AWS 称，在生产环境中，在尚未用自身工作负载验证这些检查的精确度之前，每次替换节点都应保留人工审批；测试结束后应删除所创建的资源以避免持续计费。

AI 根据报道生成 · 21 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。