PulseAugur
中
实时 07:15:24
English(EN) UBEP: Re-architecting Expert Parallelism Communication Library for Production Superpods

新的 UBEP 库大幅降低超级节点上 MoE 模型延迟 · 跟踪 2 个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 UBEP（统一总线专家并行），这是一个新的通信库，旨在优化大规模超级节点上的混合专家（MoE）模型。UBEP 解决了 MoE 通信中的关键瓶颈，包括执行序列化、同步开销和负载不平衡，这些在 NVIDIA 的 NVL72/576 和华为的 CloudMatrix384 等系统中普遍存在。实验表明，UBEP 可将 All-to-All 延迟最多降低 52.4%，并将 MoE 推理每输出令牌时间（TPOT）最多提高 11.1%。 AI

影响 优化大规模 MoE 模型的通信，可能在先进硬件上实现更高效的训练和推理。

排序理由 该集群包含一篇详细介绍用于优化 MoE 模型的新通信库的研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的 UBEP 库大幅降低超级节点上 MoE 模型延迟 · 跟踪 2 个来源

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Yipeng Liu, Chang Liu, Si Shen, Jiaqi Zheng, Mingfan Li, Yuyang Yang, Guanhua Li, Yuquan Zhang, Yimeng Xu, Zhongzhe Hu, Zhiyuan Huang, Qihang Duan, Junsong Wang, Wenkai Ling, Baochuan Yang, Xianzhi Yu, Han Bao, Yijie Chen, Guihai Chen ·

    UBEP: Re-architecting Expert Parallelism Communication Library for Production Superpods

    arXiv:2607.06202v1 Announce Type: cross Abstract: The deployment of Mixture-of-Experts (MoE) models on production high-bandwidth superpods, such as NVIDIA's NVL72/576 and Huawei's CloudMatrix384, introduces critical challenges beyond raw interconnect bandwidth. While these system…

  2. arXiv cs.AI TIER_1 English(EN) · Guihai Chen ·

    UBEP：为生产超级节点重新设计专家并行通信库

    The deployment of Mixture-of-Experts (MoE) models on production high-bandwidth superpods, such as NVIDIA's NVL72/576 and Huawei's CloudMatrix384, introduces critical challenges beyond raw interconnect bandwidth. While these systems provide unified global address spaces and high-b…

相关实体

相关话题