Megatron-DeepSpeed

指南详述 100B+ 参数 LLM 训练的 3D 并行

一份指南详细介绍了如何为参数量超过 1000 亿的大型语言模型 (LLM) 训练实现 3D 并行，特别解决了拥有数千亿权重模型的内存需求。该方法结合了张量并行 (TP)、流水线并行 (PP) 和 ZeRO-DP，重点优化 ZeRO-2 和 ZeRO-3 配置之间的内存使用。它还涵盖了 NCCL RoCEv2 和 GPUDirect RDMA 的网络调优，以及多节点训练的 Slurm 脚本。