Vladimir Narovlansky

新理论揭示大型残差网络早期训练的局限性

研究人员开发了一个新的理论框架来分析大型非线性残差网络早期训练的动力学。他们的模型考虑了宽度、深度、数据点和输入维度都发散的顺序极限，揭示在早期训练中，高输入维度下网络的输出被限制为输入的线性函数。这一发现表明，残差网络的标准均值场理论可能不足以理解这种状态下的特征学习。该研究还探讨了在不同数据集大小和输入维度之间转移学习率超参数的方法，数值模拟显示与理论预测高度一致。