研究人员开发了 RelayMoE，这是一种新颖的基于环的执行模型，旨在提高混合专家（MoE）模型分布式训练期间的内存效率。该方法通过循环专家权重或令牌并在本地计算，避免了构建完整的 top-k 扩展调度缓冲区。RelayMoE 还可以实现内存高效的反向传播重计算，从而支持更长的序列和更大的批次，或者保留更多的注意力激活以提高训练吞吐量。在 30B-57B 参数 MoE 模型上的评估表明，与 Megatron-LM 相比，速度提高了 2 倍，在相同的内存限制下，吞吐量提高了 2.02 倍。 AI
影响 提出了一种显著提高大型 MoE 模型训练效率和内存使用率的方法，有望支持更大模型和更长上下文。
排序理由 学术论文，详细介绍了分布式 MoE 模型训练的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
