Marcotte et al.

神经网络在稳定性边缘的对称性破缺分析

研究人员分析了神经网络中的连续对称性如何受到梯度流的影响，特别是在稳定性边缘。他们发现，有限步数的梯度下降会破坏这些守恒定律，导致围绕中心流动力学所描述的更平滑轨迹的振荡。该研究探讨了曲率校正对这些动力学的影响，展示了它如何诱导由临界参数方向上的振荡协方差决定的漂移。这种分析应用于标量两层模型、两层矩阵分解和两层ReLU网络，揭示了在稳定性边缘哪些守恒定律被保留，哪些被破坏。