实体
Asynchronous Pipeline Parallelism
Asynchronous Pipeline Parallelism
PulseAugur coverage of Asynchronous Pipeline Parallelism — every cluster mentioning Asynchronous Pipeline Parallelism across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究表明单步梯度延迟并非LLM预训练的障碍
一篇新的研究论文探讨了大规模LLM预训练的异步流水线并行方法，挑战了梯度延迟是不可逾越障碍的观点。研究表明，优化器的选择在单步梯度延迟下对性能有显著影响，像Muon这样的较新方法比AdamW等传统优化器更具鲁棒性。研究人员还引入了一种受误差反馈启发的校正方法，以进一步减轻延迟效应，在参数量高达100亿的模型上实现了与同步训练相当的性能。
-
基底旋转将大模型训练效率提升 81.7%
一篇新研究论文引入了“基底旋转”方法，以解决大规模分布式训练中异步流水线并行中的梯度陈旧性问题。作者发现，Hessian 特征基底与标准坐标基底之间的基底不对齐会加剧延迟更新的负面影响，特别是对于自适应优化器。他们提出的基底旋转框架将优化器的坐标系与 Hessian 特征基底对齐，理论和实验均表明能显著减少训练迭代次数。在训练一个 3B 参数大模型的实验中，与现有的异步基线方法相比，该方法将迭代次数减少了 81.7%。