Linear Neural Networks

新理论证明了深度线性网络中SGD的收敛性

研究人员在深度线性神经网络的背景下，为随机梯度下降（SGD）建立了新的理论收敛保证。这项工作将现有的梯度下降结果扩展到正则化平方损失下的SGD，证明了SGD迭代的几乎必然有界性。该分析利用随机逼近理论中的渐近伪轨迹框架，在温和的条件下显示了收敛到临界点，而无需Lipschitz性质或白化数据。这代表了弥合深度学习模型理论优化与实际随机训练之间差距的重要一步。