Philipp Misof

使用费曼图计算有限宽度神经网络核校正

研究人员开发了一种新颖的方法，使用费曼图来计算神经网络切线核（NTKs）的有限宽度校正。这种方法简化了代数运算，并实现了层级递归关系，用于预测前导阶的训练动态。该框架已被证明可以扩展深度网络的稳定性结果，并证实对于像ReLU这样的尺度不变非线性函数，在Gram矩阵对角线上不存在有限宽度校正。数值实现表明，这些校正与宽度大于约20的采样神经网络统计数据一致。