SGD with momentum

新的 $\ell_p$-范数方案增强了深度神经网络的优化

研究人员推出了一种新的深度神经网络优化方案，该方案超越了现有 $\ell_2$ 和 $\ell_\infty$ 范数的局限性。这种新颖的 $\ell_p$-范数方案在训练过程中动态调整 $p$ 的值，最初使用较大的 $p$ 来管理高曲率方向，然后逐渐将 $p$ 减小到 2 以实现更稳定的收敛。理论分析表明，该方法在非凸设置下可实现 $O(T^{-1/2})$ 的收敛率，并且在 CIFAR 和 ImageNet 等数据集上使用各种神经网…