PulseAugur
实时 12:46:37
实体 Subnetwork Data Parallelism (SDP)

Subnetwork Data Parallelism (SDP)

PulseAugur coverage of Subnetwork Data Parallelism (SDP) — every cluster mentioning Subnetwork Data Parallelism (SDP) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_65689 ·

    新的SDP框架将模型训练内存使用量减少高达60%

    研究人员开发了一种名为子网络数据并行(SDP)的新型分布式训练框架,以解决预训练大型神经网络的高内存需求和通信成本问题。SDP将模型划分为结构化子网络,这些子网络可以在工作节点之间进行训练,而无需交换激活值,从而显著降低了每个设备的内存使用量。该框架采用了反向和前向掩码技术,以及神经元或块级别的构建策略,以在FLOP匹配的设置中实现效率提升和性能改进。