torch.save

Databricks AI Runtime 提升 PyTorch 训练效率和弹性

Databricks 改进了其 AI Runtime，以提高大规模 PyTorch 训练的效率和容错能力。该运行时专注于优化两个关键子系统：数据管道和检查点机制。通过解决这些领域的问题，Databricks 旨在最大限度地减少因数据饥饿或故障导致的 GPU 空闲时间，从而提高整体训练吞吐量并降低成本。新方法利用分布式检查点和异步保存，使频繁的状态保存几乎免费，显著提高了在大型训练作业中应对不可避免的 GPU 故障的弹性。