Polyak--Ruppert averaging

研究论文分析了动量在 Polak-Ruppert 平均中的作用

这篇研究论文探讨了动量在随机梯度下降（SGD）及其相关优化方法中的 Polak-Ruppert 平均的有效性。作者分析了有限运行收敛到渐近协方差的速度以及并行化的潜力。对于有噪声的强凸二次函数，他们建立了经验风险最小化与在线过程之间的桥梁，详细说明了与中心、协方差和形状相关的误差。该论文还研究了重尾噪声或状态相关噪声以及裁剪对这些方法的影响。