研究人员开发了一种新颖的方法,使用费曼图来计算神经网络切线核(NTKs)的有限宽度校正。这种方法简化了代数运算,并实现了层级递归关系,用于预测前导阶的训练动态。该框架已被证明可以扩展深度网络的稳定性结果,并证实对于像ReLU这样的尺度不变非线性函数,在Gram矩阵对角线上不存在有限宽度校正。数值实现表明,这些校正与宽度大于约20的采样神经网络统计数据一致。 AI
影响 引入了一个新的理论框架来分析神经网络训练动态,可能带来更深入的理解和更稳定的模型。
排序理由 学术论文发表在arXiv上,详细介绍了神经网络分析的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Gramian matrix
- Hugging Face
- neural tangent kernels
- Philipp Misof
- rectifier
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →