实体 PipelinedLLEP

PipelinedLLEP

PulseAugur coverage of PipelinedLLEP — every cluster mentioning PipelinedLLEP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_259641 · Sep 13 · 00:00

新方法解决了长上下文专家混合模型训练中的内存峰值问题

研究人员开发了四种新颖的技术来解决训练具有长上下文的专家混合（MoE）模型时的内存限制。这些方法，包括 PipelinedLLEP、Ring-DTP、Selective Checkpoint Offload (SCO) 和 OffloadStreamAdamW，针对专家调度、词汇投影、梯度检查点和优化器状态等特定内存瓶颈。通过改变计算和数据移动的顺序而非计算本身，这些技术可以保持精确的梯度和损失。当结合使用时，它们能够以一百万个 to…