研究人员开发了 NVLinkOneSided,这是一种新颖的单边专家并行全互连通信协议,专为单个 NVLink 域内的 GPU 上的专家混合 (MoE) 推理而设计。该方法允许 GPU 将 token 直接推送到目标缓冲区,绕过元数据交换并提高效率,尤其是在小批量大小的情况下。在 Blackwell GPU 上进行基准测试,与 DeepEP 相比,NVLinkOneSided 在调度和组合操作方面速度提高了 1.2-3.0 倍,MoE 层速度提高了 2.4 倍,使其在解码任务上甚至可以与 MegaMoE 等融合后端竞争。 AI
影响 加速专家混合模型的推理,可能实现更快、更高效的大型 AI 模型的部署。
排序理由 描述 AI 推理新技术的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →