Loss Landscape

分岔理论框架解释了稳定性边缘的梯度下降

研究人员开发了一个新的框架，使用分岔理论来理解深度学习中梯度下降在稳定性边缘（EoS）的行为。该框架通过将训练分离为相对于最小化器流形的正常分量和切线分量来分析过参数化神经网络的动力学。研究表明，稳定的EoS训练源于法向的翻转分岔，受第一李雅普诺夫系数的影响，而切线动力学导致锐度下降。在对损失景观的特定假设下，该研究证明了在EoS阈值处收敛到最小化流形，统一并扩展了先前的发现。