实体
bifurcation theory
bifurcation theory
PulseAugur coverage of bifurcation theory — every cluster mentioning bifurcation theory across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的研究框架对稳定性边缘的梯度下降进行建模
两篇新的研究论文探讨了深度学习中在稳定性边缘（EoS）运行的梯度下降现象。第一篇论文介绍了“Edge Flow”，这是一个微分方程系统，用于模拟EoS下的梯度下降动力学，将其分解为中心、振荡方向和幅度。第二篇论文提出了一个适用于过参数化神经网络的分岔理论框架，展示了稳定的EoS训练如何从翻转分岔产生，并在特定条件下证明了收敛到最小化流形。
-
图神经网络理论通过受分岔启发的激活函数打破过平滑
研究人员为图神经网络（GNN）开发了一个新的理论框架，解决了过平滑问题，即在深度网络中节点特征变得无法区分。通过分岔理论的视角分析过平滑，他们发现用特定的函数替换标准的ReLU激活函数可以破坏同质状态的稳定性。这一理论突破导致了稳定的、非同质模式的出现，这些模式能够抵抗过平滑，并具有经过验证的模式幅度缩放定律和在网络初始化中的实际应用。
-
新理论预测神经网络中的概念涌现
研究人员开发了一种分岔理论，以更好地理解神经网络在训练过程中如何开发结构化表示。该理论引入了一种新的、无标签的度量标准，称为 beta/beta_c 比率，它可以实时预测概念的涌现。研究表明，该度量标准可以识别不同的转换状态，甚至可以解释诸如“grokking”（学习似乎被延迟）之类的现象。此外，该理论表明，早期训练动态可以预测特征的最终可解释性，从而作为训练健康状况的实际指标。