pipeline parallelism
PulseAugur coverage of pipeline parallelism — every cluster mentioning pipeline parallelism across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
PyTorch DDP 解析：多 GPU 训练的梯度同步
本文深入探讨了 PyTorch 的 DistributedDataParallel (DDP) 用于多 GPU 训练。文章解释了由于模型和数据集规模不断增长而需要 DDP 的原因，并将其与模型并行进行了对比。DDP 的核心被揭示为使用 AllReduce 操作进行梯度同步，该操作在所有 GPU 更新其本地模型副本之前对所有 GPU 的梯度进行平均。这确保了尽管处理的数据批次不同，但所有模型副本保持相同。
-
新研究表明单步梯度延迟并非LLM预训练的障碍
一篇新的研究论文探讨了大规模LLM预训练的异步流水线并行方法，挑战了梯度延迟是不可逾越障碍的观点。研究表明，优化器的选择在单步梯度延迟下对性能有显著影响，像Muon这样的较新方法比AdamW等传统优化器更具鲁棒性。研究人员还引入了一种受误差反馈启发的校正方法，以进一步减轻延迟效应，在参数量高达100亿的模型上实现了与同步训练相当的性能。
-
新型运行时提升流水线并行AI训练效率
研究人员开发了一个名为“就绪性优先流水线运行时”（RRFP）的新型运行时系统，旨在提高使用流水线并行进行大模型训练的效率。当任务就绪性偏离预设计划时，传统系统可能会出现空闲时间和利用率降低的问题。RRFP通过将计划视为灵活的提示而非严格的指令来解决这个问题，使各个阶段能够更早地执行可用工作。在多达128个GPU上的评估显示，RRFP在多模态工作负载上的训练速度比现有方法快2.77倍，实现了显著的加速。