Mixture-of-Parallelisms

新的MoP训练栈支持万亿参数MoE模型和1M上下文

研究人员推出了一种名为Mixture-of-Parallelisms (MoP) 的新型训练栈，旨在提高专家混合 (MoE) 模型的内存效率。该方法将各种现有和新的并行技术整合到MoE训练流水线的不同层和阶段。MoP针对CPU、GPU内存和通信带宽进行优化，使得使用相对较小的128x H200 GPU集群即可训练具有百万token上下文长度的万亿参数模型。实验结果表明，与标准基线相比，MoP实现了显著更高的每GPU吞吐量，并支持更长的上下文长度。