LPSGDM

新的 $\ell_p$-范数方案增强深度学习优化

研究人员推出了一种新的深度神经网络优化方案，该方案利用动态 $\ell_p$-范数，超越了固定 $\ell_2$ 和 $\ell_\infty$ 范数的限制。这种新颖的方法，称为 LPSGD 和 LPSGDM，旨在通过在训练过程中调整范数参数 $p$ 来提高收敛性和泛化能力。该方法以较大的 $p$ 开始以管理高曲率方向，然后逐渐减小 $p$ 至 2 以获得更稳定的更新，理论上可为非凸问题实现 $O(T^{-1/2})$ 的收敛速率。