PulseAugur
实时 14:07:56
English(EN) What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity

新研究为局部 SGD 算法提供了更紧的收敛率

研究人员发表了一篇论文,详细介绍了局部 SGD(也称为联邦平均)的分布式优化算法的更紧收敛率。该研究侧重于二阶异质性有界的情况,证明了一个猜想,该猜想将算法的效率扩展到一般凸目标。研究结果提供了对局部 SGD 性能更精确的理论理解,并包括在该设置下算法的改进下界。 AI

影响 提供了对机器学习中使用的分布式优化算法更精确的理论理解。

排序理由 该集群包含一篇在 arXiv 上发表的学术论文,详细介绍了优化算法的理论进展。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究为局部 SGD 算法提供了更紧的收敛率

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Lingxiao Wang ·

    平滑常数有什么用?局部SGD的更紧界限与有界二阶异质性

    Local SGD, also known as Federated Averaging, is a widely used distributed optimization algorithm. Although Local SGD often outperforms alternatives such as Mini-batch SGD in practice, theory still only partially explains when and why local updates help under realistic data heter…

  2. arXiv stat.ML TIER_1 English(EN) · Kumar Kshitij Patel, Rustem Islamov, Sebastian U Stich, Aurelien Lucchi, Eduard Gorbunov, Lingxiao Wang ·

    平滑常数有什么用?局部SGD的更紧界限与二阶异质性有界性

    arXiv:2607.14731v1 Announce Type: cross Abstract: Local SGD, also known as Federated Averaging, is a widely used distributed optimization algorithm. Although Local SGD often outperforms alternatives such as Mini-batch SGD in practice, theory still only partially explains when and…