Cyclic Repetition

Pipelined Gradient Coding 加速分布式机器学习训练

研究人员开发了一种名为 Pipelined Gradient Coding (PGC) 的新方法，以解决大规模分布式机器学习训练中掉队工作者（straggling workers）的问题。与传统的梯度编码（gradient coding）不同，后者要求工作者在每个步骤处理多个数据集分区，PGC 将梯度评估分段到多个步骤中，每个工作者在每个步骤只处理一个分区。这种流水线方法应用于分数重复（fractional repetition）和循…