PulseAugur
实时 13:24:51

新的惯性狄拉克-弗兰克尔动力学改进了神经网络中的参数稳定性

研究人员开发了一种惯性形式的狄拉克-弗兰克尔动力学,以解决冗余非线性参数化(如神经网络)中不唯一或病态的参数动力学问题。这种新方法引入了惯性,允许过去的轨迹信息为弱约束的参数速度方向提供信息,而强约束的方向则继续遵循原始动力学。已证明惯性形式可以产生适定的参数动力学并提供后验误差界,在数值实验中表现出更高的鲁棒性。 AI

影响 这项研究通过改进参数动力学,有望实现更稳定、更鲁棒的复杂神经网络模型训练。

排序理由 该集群包含一篇在 arXiv 上发表的关于新数学动力学形式化研究的论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的惯性狄拉克-弗兰克尔动力学改进了神经网络中的参数稳定性

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Matteo Raviola, Benjamin Peherstorfer ·

    Dirac-Frenkel dynamics with inertia for nonlinearly parametrized solutions of evolution problems

    arXiv:2606.24769v1 Announce Type: cross Abstract: Even when Dirac-Frenkel dynamics determine a well-defined evolution in function space, the corresponding parameter dynamics can be non-unique or ill-conditioned for redundant nonlinear parametrizations such as neural networks or m…

  2. arXiv cs.LG TIER_1 English(EN) · Benjamin Peherstorfer ·

    Dirac-Frenkel dynamics with inertia for nonlinearly parametrized solutions of evolution problems

    Even when Dirac-Frenkel dynamics determine a well-defined evolution in function space, the corresponding parameter dynamics can be non-unique or ill-conditioned for redundant nonlinear parametrizations such as neural networks or mixture models. We propose to add inertia to the Di…