PulseAugur
中
实时 09:13:28
实体 Heterogeneous Pipeline Parallelism

Heterogeneous Pipeline Parallelism

PulseAugur coverage of Heterogeneous Pipeline Parallelism — every cluster mentioning Heterogeneous Pipeline Parallelism across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_303609 ·

    ETH系统通过数据平衡并行改进大模型训练

    研究人员推出ETH,一种旨在通过采用面向数据的异构流水线并行来提高大模型训练效率的新训练系统。与之前不均匀分配模型层的旧方法不同,ETH专注于异构流水线之间细粒度的数据平衡。该系统通过分层工作负载平衡框架和块状梯度聚合来解决高搜索开销和通信成本等挑战。评估表明,ETH的训练速度最高可提高2倍,同时显著减少了生成配置所需的时间。