Batched SGD

新的批量SGD方法提供高概率收敛保证

研究人员推出了一种新颖的随机梯度下降（SGD）变体——批量SGD，旨在为优化问题实现高概率收敛保证。该方法将在线样本划分为多个周期（epochs），每个周期使用一个精炼的梯度估计进行一次更新。该方法通过避免严格的假设和辅助序列来简化分析，为强凸和非凸目标都提供了近乎最优的收敛速率。此外，批量SGD还扩展到联邦学习领域，为该领域提供了首个具有对数通信复杂度和对数据异质性韧性的高概率保证。