实体 Prime Mega MoE

Prime Mega MoE

PulseAugur coverage of Prime Mega MoE — every cluster mentioning Prime Mega MoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

时间线

2026-10-29 product_launch Prime Intellect released Prime Mega MoE, a fused MoE kernel that significantly accelerates training. 来源

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_330340 · Oct 29 · 18:28

Prime Intellect 通过融合后向传播内核提高 MoE 训练速度

Prime Intellect 通过添加融合、重叠的后向传播，增强了 DeepSeek 的 Mega MoE 内核，使其适用于训练专家混合（MoE）模型。与现有基线相比，该新内核 Prime Mega MoE 的训练步骤速度最高可提高 34%，与 TorchTitan 相比最高可提高 55%。前向传播的性能提升更为显著，最高可达 3.11 倍，而后向传播的改进则较为温和，约为 1.24 倍。该内核支持各种 NVIDIA GPU，包括 …