实体
DSGD
DSGD
PulseAugur coverage of DSGD — every cluster mentioning DSGD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的DPA算法改进了异构数据上的去中心化深度学习
研究人员推出了一种名为去中心化对偶平均法（DPA）的新算法，该算法专为在数据保留在每个代理本地的网络中训练深度学习模型而设计。DPA解决了数据异构性带来的挑战，数据异构性会显著影响模型性能。该算法采用本地准全局动量缓冲区来改进优化，而无需代理传输辅助跟踪变量。在图像分类基准测试上的实验表明，DPA的性能优于现有方法，尤其是在数据异构性高和通信稀疏的条件下，在可比的通信成本下实现了更高的测试准确率。
-
SGD和DSGD在重尾噪声下表现出最优收敛性 · 跟踪3个来源
研究人员研究了随机梯度下降（SGD）及其去中心化变体（DSGD）在处理机器学习中常见的重尾噪声时的有效性。一篇新论文表明，即使在 $p$ 介于1到2之间的有界 $p$ 阶矩噪声下，裁剪后的去中心化SGD也能达到最优收敛率。这一发现挑战了重尾噪声会损害SGD性能的观点，表明标准的SGD仍然是一个稳健的基线。研究还强调了去中心化设置中梯度裁剪和归一化之间的区别，裁剪保留了对收敛至关重要的幅度信息。