Tianxiang Gao

Neural Feature Dynamics 框架为深度网络训练提供新见解

研究人员开发了一个名为神经特征动力学 (NFD) 的新框架，以更好地理解深度神经网络训练过程中特征的演变方式，特别是在无限深度极限下。该研究侧重于 ResNets，并解决了反向传播中权重重用引起的正向特征和反向梯度之间复杂的相互作用。NFD 通过解耦这些相关的项，为特征学习动力学提供了更准确的无限深度极限，表明随着网络深度的增加，重用权重的 d 影响会减弱。