研究人员推出了一种名为去中心化对偶平均法(DPA)的新算法,该算法专为在数据保留在每个代理本地的网络中训练深度学习模型而设计。DPA解决了数据异构性带来的挑战,数据异构性会显著影响模型性能。该算法采用本地准全局动量缓冲区来改进优化,而无需代理传输辅助跟踪变量。在图像分类基准测试上的实验表明,DPA的性能优于现有方法,尤其是在数据异构性高和通信稀疏的条件下,在可比的通信成本下实现了更高的测试准确率。 AI
影响 提高了在不集中数据的情况下,在分布式、异构数据集上训练大型模型的可能性。
排序理由 详细介绍去中心化深度学习新算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- CIFAR-10
- CIFAR-100
- Decentralized Primal Averaging
- Diyako Ghaderyan
- DSGD
- QG-DSGDm
- Quasi-Global Momentum
- ResNet-20
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →