NVLinkOneSided

新的NVLink技术加速混合专家AI推理

研究人员开发了一种名为NVLinkOneSided的新方法，用于加速NVLink上的混合专家（MoE）模型的推理。该方法通过允许GPU之间直接推送Token来优化专家并行全互联通信，绕过元数据交换并降低延迟，尤其适用于小批量大小。在Blackwell GPU上的基准测试显示，NVLinkOneSided相比DeepEP等现有方法实现了1.2-3.0倍的加速，使MoE层速度提升高达2.4倍，在解码任务中具有竞争力。