MegaScale-Data

MegaScale-Data架构将LFM训练吞吐量提高了4.5倍

研究人员开发了MegaScale-Data，一种新的分布式数据加载架构，旨在提高从多个数据源训练大型基础模型（LFM）的效率。该系统解决了由非均匀数据分布引起的负载不平衡和复制数据访问状态造成的过度内存使用等挑战。MegaScale-Data引入了分离式预处理、用于编排的集中式数据平面以及自动分区机制，从而显著提高了训练吞吐量并降低了内存消耗。