Stieltjes

新研究揭示ReLU神经网络训练动力学的分歧

一篇新发表在arXiv上的论文探讨了使用ReLU激活函数训练神经网络的数学基础。研究表明，当梯度下降算法应用于这些网络时，其在连续时间极限下的行为并不总是符合预期。具体而言，该论文证明了梯度下降的离散步骤和连续流极限可能发生分歧，导致网络参数更新方式存在差异。这种分歧在严格激活事件的场景中尤为明显，离散更新可能导致显著的端点误差，而全局凸性并不能完全缓解这些误差。