ThunderEP

新的ThunderEP设计提升消费级GPU上的MoE推理性能

研究人员开发了ThunderEP，这是一种新的通信设计，用于在通过PCIe连接的消费级GPU上高效运行大型专家混合（MoE）模型。该系统解决了这些设置中固有的通信瓶颈，数据传输通常涉及CPU。ThunderEP旨在绕过CPU中继跳跃并利用DMA引擎，避免与计算资源的争用，从而减少同步延迟。在配备RTX 4090和RTX 5090 GPU的系统上进行的评估表明，与NCCL等现有方法相比，速度显著提升，MoE推理的端到端改进高达1.66倍。