研究人员开发了 Argus,这是一个 Kubernetes 运算符,旨在减轻在 Amazon EKS 等云平台上进行训练时的数据丢失。该系统旨在预测和处理 EC2 Spot 实例等服务的服务中断,这些服务可能会在短时间内被收回。在 CIFAR-10 测试平台上进行的实证研究表明,Argus 可以成功地检查点并恢复训练,只丢失正在进行的 epoch,从而在昂贵的、多节点的训练作业中保留大量进度。 AI
影响 通过提高对云基础设施中断的弹性,可以降低大规模 AI 模型训练的成本。
排序理由 详细介绍新系统及其经验评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →