实体 RelayMoE

RelayMoE

PulseAugur coverage of RelayMoE — every cluster mentioning RelayMoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_284377 · Oct 7 · 04:00

RelayMoE 提升 MoE 训练效率和内存使用率

研究人员开发了 RelayMoE，这是一种新颖的基于环的执行模型，旨在提高混合专家（MoE）模型分布式训练期间的内存效率。该方法通过循环专家权重或令牌并在本地计算，避免了构建完整的 top-k 扩展调度缓冲区。RelayMoE 还可以实现内存高效的反向传播重计算，从而支持更长的序列和更大的批次，或者保留更多的注意力激活以提高训练吞吐量。在 30B-57B 参数 MoE 模型上的评估表明，与 Megatron-LM 相比，速度提高了 2…