实体 X-MoE

X-MoE

PulseAugur coverage of X-MoE — every cluster mentioning X-MoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_20524 · May 6 · 15:47

Piper框架通过资源建模提升MoE模型训练效率

一个名为Piper的新框架已被开发出来，用于解决在高性n能计算（HPC）平台上训练大型混合专家（MoE）模型所面临的挑战。Piper利用资源建模来优化训练策略，侧重于流水线并行和高效通信。这种方法旨在克服MoE架构固有的内存占用大、通信瓶颈和工作负载不平衡等问题。