Bures flow

已证明两层线性网络的全局指数收敛性

研究人员已证明，使用光滑的Polyak-Lojasiewicz预测损失函数，可以实现宽两层线性网络的全局指数收敛。研究表明，因子中的梯度流可以通过有限维Bures流精确描述，该流受神经元定律协方差的影响。只要初始协方差满足谱支撑间隙条件，均值场守恒定律就能建立隐藏预处理块的谱下界，从而进一步支持了这种收敛速率。这些发现延伸到深度线性ResNets，并通过比较预测速率和观察速率的数值实验进行了说明。