DeepGEMM MegaMoE

新的X-Stage流水线优化提升DiT推理速度

研究人员发现了一个新的流水线阶段，称为X-Stage，可以优化扩散Transformer（DiT）推理过程中的通信-计算重叠。该阶段专注于通信启动后但尚未完全可见的期间，从而更好地预测和管理发送方背压。通过对这个X-Stage进行建模，研究人员重新设计了DeepGEMM MegaMoE和Ulysses序列并行注意力模型的通信-计算融合内核，与现有基线相比实现了显著的加速。