分岔理论框架解释了稳定性边缘的梯度下降

研究人员开发了一个新的框架，使用分岔理论来理解深度学习中梯度下降在稳定性边缘（EoS）的行为。该框架通过将训练分离为相对于最小化器流形的正常分量和切线分量来分析过参数化神经网络的动力学。研究表明，稳定的EoS训练源于法向的翻转分岔，受第一李雅普诺夫系数的影响，而切线动力学导致锐度下降。在对损失景观的特定假设下，该研究证明了在EoS阈值处收敛到最小化流形，统一并扩展了先前的发现。 AI

影响 提供了一个理论框架，以更好地理解和潜在地控制深度学习模型的训练动力学。

排序理由 学术论文，详细介绍了理解深度学习中一种现象的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• bifurcation theory
• deep learning
• Edge of Stability
• generative adversarial network
• gradient descent
• Loss Landscape
• Neural Networks

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →