实体
mini-batch SGD
mini-batch SGD
PulseAugur coverage of mini-batch SGD — every cluster mentioning mini-batch SGD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究为局部 SGD 算法提供了更紧的收敛率
研究人员发表了一篇论文，详细介绍了局部 SGD（也称为联邦平均）的分布式优化算法的更紧收敛率。该研究侧重于二阶异质性有界的情况，证明了一个猜想，该猜想将算法的效率扩展到一般凸目标。研究结果提供了对局部 SGD 性能更精确的理论理解，并包括在该设置下算法的改进下界。
-
新研究质疑局部SGD在分布式学习中的理论优势
一篇新的arXiv论文探讨了在数据异构和通信间歇的分布式学习场景中，局部随机梯度下降（Local SGD）的理论局限性。研究表明，当前关于数据异构性的假设不足以解释Local SGD的实际有效性，而在这些条件下，加速的小批量SGD被证明是min-max最优的。该论文提出，需要更高阶的平滑性和异构性假设，才能更好地建模和理解Local SGD在低异构性环境中的优势。