Donghee Lee

新框架分解神经网络训练动力学

研究人员引入了体-边界分解（bulk-boundary decomposition），一种分析深度神经网络训练动力学的新颖框架。该方法将网络的拉格朗日量分解为与数据无关的体项（bulk term）和与数据相关的边界项（boundary term）。体项表征了受网络架构和激活函数影响的固有动力学，而边界项则反映了训练样本在输入和输出层产生的随机交互。这种分解揭示了深度网络内部的局部和同质结构，并推导出了能量连续性方程。