Databricks 推出了 UCDataset,一项旨在通过直接从 Unity Catalog 表流式传输数据来加速 GPU 训练的新 Beta 功能。这款原生的 PyTorch 数据加载器旨在通过消除数据导出或自定义加载代码的需求,将训练时间缩短高达 10 倍并降低计算成本。UCDataset 通过在多个 GPU 之间高效分片数据来确保 GPU 保持忙碌,同时通过 Unity Catalog 维护数据治理和血缘关系。 AI
影响 优化 AI 训练的数据管道,可能降低成本并加速模型开发周期。
排序理由 这是来自主要 AI 基础设施提供商的产品功能发布,但它是一个数据加载优化,而不是核心模型或平台发布。
- AI Runtime
- Apache Parquet
- Bruce Fontaine
- Databricks
- Milan Stefanovic
- PyTorch
- Tejas Sundaresan
- UCDataset
- Unity Catalog
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →