highway error propagation

新方法可训练非常深层的预测编码网络

研究人员提出了一种名为高速公路误差传播（HEP）的新方法，以应对训练非常深层的预测编码网络（PCN）的挑战。传统的PCN在深层架构中学习信号衰减迅速的问题，阻碍了它们在浅层网络之外的有效性。HEP通过直接将隐藏状态与输出误差耦合的反馈矩阵修改PCN的结构，确保无论网络深度如何，都能获得一致的校正信号。该方法在MNIST和Fashion-MNIST等基准测试中成功训练了多达128层的多层感知机，展示了强大的准确性。