bulk synchronous parallel

新的 UBEP 库大幅降低超级节点上 MoE 模型延迟 · 跟踪 2 个来源

研究人员开发了 UBEP（统一总线专家并行），这是一个新的通信库，旨在优化大规模超级节点上的混合专家（MoE）模型。UBEP 解决了 MoE 通信中的关键瓶颈，包括执行序列化、同步开销和负载不平衡，这些在 NVIDIA 的 NVL72/576 和华为的 CloudMatrix384 等系统中普遍存在。实验表明，UBEP 可将 All-to-All 延迟最多降低 52.4%，并将 MoE 推理每输出令牌时间（TPOT）最多提高 11.1%。