Federated Adaptive Naive Tracking

新的 FA-GC 方法通过自适应优化器增强联邦学习

研究人员推出了一种名为联邦自适应梯度校正 (FA-GC) 的新方法，旨在改进 Adam 等自适应优化器的联邦学习。与仅在梯度被纳入优化器的运行平均值后进行校正的先前方法不同，FA-GC 在梯度进入这些平均值之前进行校正。这一区别至关重要，因为自适应优化器从历史梯度信息构建更新，而仅校正最终方向可能导致次优结果。所提出的方法在各种图像和语言任务上，尤其是在数据异质性强的情况下，已证明了改进的收敛性和准确性。