Innocenti et al.

Sakana AI 提出层局部训练方法以训练 1000 层网络

Sakana AI 的研究人员开发了一种名为增强拉格朗日预测编码 (PC-ALM) 的新颖训练方法，它提供了一种传统的反向传播的层局部替代方法。这种新方法允许训练非常深（多达 1000 层）的神经网络，同时保持接近反向传播的性能。该方法已在 MNIST 和 Fashion-MNIST 等小型图像基准测试中得到验证，与标准的预测编码相比，在深层窄网络架构中显示出显著的改进。