Decentralized Primal Averaging

新的DPA算法改进了异构数据上的去中心化深度学习

研究人员推出了一种名为去中心化对偶平均法（DPA）的新算法，该算法专为在数据保留在每个代理本地的网络中训练深度学习模型而设计。DPA解决了数据异构性带来的挑战，数据异构性会显著影响模型性能。该算法采用本地准全局动量缓冲区来改进优化，而无需代理传输辅助跟踪变量。在图像分类基准测试上的实验表明，DPA的性能优于现有方法，尤其是在数据异构性高和通信稀疏的条件下，在可比的通信成本下实现了更高的测试准确率。