新理论将激波动力学与神经网络训练联系起来

研究人员在激波理论与人工神经网络中随机梯度下降的学习动力学之间建立了一个数学联系。通过应用微分几何、李群理论和流体力学原理，他们证明了这些网络的有效动力学可以用商流形上的粘性Hamilton--Jacobi方程来描述。此外，粗粒化损失函数的梯度遵循一个Burgers型方程，表明激波的形成是严格可能的。该框架已应用于多层感知机、卷积神经网络、Transformer和均值场网络等各种架构，暗示了深度学习中新诊断方法的潜力。 AI

影响 这一理论框架可能为监测和控制深度学习训练阶段带来新颖的诊断方法。

排序理由 该条目是一篇详细介绍人工神经网络理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• artificial neural network
• Burgers-type equation
• convolutional neural network
• deep learning
• differential geometry
• fluid mechanics
• Hamilton--Jacobi Equations and Distance Functions on Riemannian Manifolds
• Lie group theory of the bessel equation of the first kind of integral order
• Mean-field Networks
• multilayer perceptron
• Shock-wave theory for rupture of rubber
• stochastic gradient descent
• transformers

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →