Milan Stefanovic

Databricks UCDataset 将 Unity Catalog 的 GPU 训练速度提升 10 倍

Databricks 推出了 UCDataset，一项旨在通过直接从 Unity Catalog 表流式传输数据来加速 GPU 训练的新 Beta 功能。这款原生的 PyTorch 数据加载器旨在通过消除数据导出或自定义加载代码的需求，将训练时间缩短高达 10 倍并降低计算成本。UCDataset 通过在多个 GPU 之间高效分片数据来确保 GPU 保持忙碌，同时通过 Unity Catalog 维护数据治理和血缘关系。