RRFP

新型运行时提升流水线并行AI训练效率

研究人员开发了一个名为“就绪性优先流水线运行时”（RRFP）的新型运行时系统，旨在提高使用流水线并行进行大模型训练的效率。当任务就绪性偏离预设计划时，传统系统可能会出现空闲时间和利用率降低的问题。RRFP通过将计划视为灵活的提示而非严格的指令来解决这个问题，使各个阶段能够更早地执行可用工作。在多达128个GPU上的评估显示，RRFP在多模态工作负载上的训练速度比现有方法快2.77倍，实现了显著的加速。