实体 UltraEP

UltraEP

PulseAugur coverage of UltraEP — every cluster mentioning UltraEP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_70492 · Jun 4 · 04:00

UltraEP 系统优化 MoE 模型训练和推理

研究人员开发了 UltraEP，一个旨在优化大规模专家混合（MoE）模型在机架规模节点上训练和推理的新系统。该系统解决了专家负载不平衡的挑战，这种不平衡可能导致性能瓶颈和内存峰值。UltraEP 通过在微批次和层级基础上实时重新平衡专家，实现了近乎最优的负载均衡，与现有方法相比，显著提高了吞吐量并减少了不平衡。