Prime Intellect 通过添加融合、重叠的后向传播，增强了 DeepSeek 的 Mega MoE 内核，使其适用于训练专家混合（MoE）模型。与现有基线相比，该新内核 Prime Mega MoE 的训练步骤速度最高可提高 34%，与 TorchTitan 相比最高可提高 55%。前向传播的性能提升更为显著，最高可达 3.11 倍，而后向传播的改进则较为温和，约为 1.24 倍。该内核支持各种 NVIDIA GPU，包括 Hopper 和 Blackwell 架构，并可在 prime-rl 训练器中作为调度后端使用。 AI
影响 加速专家混合模型的训练，降低 GPU 计算成本和时间。
排序理由 这是用于训练现有 MoE 模型的优化内核，并非新的前沿模型发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
