Dana et al.

新研究详细介绍了过参数化ReLU网络中的增量学习

研究人员发表了一篇论文，详细介绍了在正交数据上训练的轻度过参数化ReLU网络中的增量学习过程。研究证明，当初始化尺度接近于零时，梯度流收敛到鞍点跳跃过程，导致新神经元依次激活。这种现象使得网络能够有效地插值训练数据，其宽度与样本数量的对数成正比。该研究还建立了一种新颖的隐式偏差，表明学习到的插值器的L2范数平方随样本数量的平方根缩放，非常接近最小L2范数插值器。