gradient-based optimisation

神经切线核分析揭示PDF训练动力学

研究人员使用应用于源自深度非弹性散射（DIS）数据的部分子分布函数（PDF）的神经切线核（NTK）方法，分析了前馈神经网络的训练动力学。该方法提供了对数据和方法如何影响训练的分析视图，将先前单一风味（flavor）的分析推广到多风味场景。研究表明，基于梯度的优化和参数化通过增量包含NTK模式来充当确定PDF的病态反问题的正则化器。值得注意的是，仅需少数领先的NTK模式即可准确重建目标PDF，而噪声则由训练后期学习到的次领先模式捕获。