实体
Local SGD with Periodic Averaging: Tighter Analysis and Adaptive Synchronization
Local SGD with Periodic Averaging: Tighter Analysis and Adaptive Synchronization
PulseAugur coverage of Local SGD with Periodic Averaging: Tighter Analysis and Adaptive Synchronization — every cluster mentioning Local SGD with Periodic Averaging: Tighter Analysis and Adaptive Synchronization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
模型合并技术在新的 IsoLoCo 方法中增强了分布式学习
研究人员探索了使用模型合并技术来改进分布式学习方法（如 DiLoCo）中的聚合。通过将本地 SGD/DiLoCo 中的伪梯度聚合与基于任务算术的模型合并进行类比，他们确定 Iso-C 是一种有前景的方法。他们提出了 IsoLoCo，该方法通过 Nesterov 动量对 Iso-C 进行调整以进行分布式训练，与标准的 DiLoCo 相比，性能有了显著提高，尤其是在工作节点数量增加的情况下。
-
本地 SGD 工人分歧揭示了深度神经网络损失几何结构
研究人员开发了一种新颖的方法来理解深度神经网络的损失几何结构，方法是通过分析本地随机梯度下降 (SGD) 中的工人分歧。这种分歧在理论上被证明会受到梯度噪声和 Hessian 曲率的影响，它提供了一种具有成本效益的、无 Hessian 的损失景观主子空间估计器。对 MLP、CNN 和 Transformer 的实验证实，通过工人平均差距识别出的子空间能够有效地捕捉 Hessian 特征值空间主导部分内的梯度分量。