LOSCAR-SGD

新的LOSCAR-SGD方法加速分布式AI训练

研究人员推出了一种新颖的分布式机器学习方法LOSCAR-SGD，该方法解决了通信瓶颈问题。该方法结合了本地训练、稀疏模型更新以及通信-计算重叠，以加速训练，特别是在联邦学习场景中。该方法包含一个延迟校正的合并规则，可以在通信期间优化训练的同时有效地整合同步信息。为平滑非凸目标提供了理论收敛保证，实验结果表明与朴素方法相比，训练时间缩短，性能有所提高。