新方法优化了具有更多工作节点的去中心化AI训练

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-04 04:00

研究人员开发了一种新的去中心化随机凸优化网络方法。该方法允许在固定的梯度样本预算下使用显著更多的节点，同时保持最优的统计速率。该方法将小批量处理与加速的八卦方案相结合，以控制分歧，并被证明对于线性跨度去中心化一阶方法来说，在对数因子内是最优的。 AI

排序理由这是一篇详细介绍新优化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Nitai Kluger, Amit Attia, Tomer Koren · 2026-06-04 04:00

Near-Optimal Decentralized Stochastic Convex Optimization over Networks

arXiv:2606.04757v1 Announce Type: cross Abstract: We study decentralized stochastic smooth convex optimization, where $M$ workers minimize an average objective using local stochastic gradients and neighbor-only communication over a fixed gossip network. A central question in this…