实体
Megamoe
Megamoe
PulseAugur coverage of Megamoe — every cluster mentioning Megamoe across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的NVLink技术加速混合专家AI推理
研究人员开发了一种名为NVLinkOneSided的新方法，用于加速NVLink上的混合专家（MoE）模型的推理。该方法通过允许GPU之间直接推送Token来优化专家并行全互联通信，绕过元数据交换并降低延迟，尤其适用于小批量大小。在Blackwell GPU上的基准测试显示，NVLinkOneSided相比DeepEP等现有方法实现了1.2-3.0倍的加速，使MoE层速度提升高达2.4倍，在解码任务中具有竞争力。
-
DeepSeek V4 推出 MegaMoE 优化以实现高效 MoE
DeepSeek 发布了其 V4 模型，该模型通过一个名为 MegaMoE 的新系统进行了显著优化。该系统使用一个 1400 行的融合 CUDA 内核，通过对模型层内的通信和计算进行细粒度流水线处理来提高性能。这种方法解决了 Mixture-of-Experts (MoE) 模型中通常需要大量 all-to-all 通信的挑战。