研究人员开发了MegaScale-Data，一种新的分布式数据加载架构，旨在提高从多个数据源训练大型基础模型（LFM）的效率。该系统解决了由非均匀数据分布引起的负载不平衡和复制数据访问状态造成的过度内存使用等挑战。MegaScale-Data引入了分离式预处理、用于编排的集中式数据平面以及自动分区机制，从而显著提高了训练吞吐量并降低了内存消耗。 AI
影响 优化LFM训练基础设施，可能降低计算成本并加速模型开发周期。
排序理由 这是一篇详细介绍大型基础模型训练新架构的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2504.09844v4 Announce Type: replace-cross Abstract: Modern frameworks for training large foundation models (LFMs) employ dataloaders in a data-parallel manner, with each loader processing a disjoint subset of training data. When preparing data for LFM training that originat…