pseudo-gradients

Nesterov 加速动量在大规模神经网络上的稳定性分析

研究人员分析了 Nesterov 加速动量应用于大规模神经网络中跨多个工作节点训练的随机伪梯度时的稳定性。他们推导出了随机二次函数的均方稳定性判据，表明内层批量大小决定了更多局部步骤是导致稳定性还是不稳定性。研究还发现，虽然平均伪梯度可以允许更高的外层动量，但稳定性所需的工作节点数量可能随局部步骤呈指数级增长。这些动态可以通过在神经网络中间检查点使用共享小批量扰动来探测。