Predictive Coding Networks
PulseAugur coverage of Predictive Coding Networks — every cluster mentioning Predictive Coding Networks across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法可训练非常深层的预测编码网络
研究人员提出了一种名为高速公路误差传播（HEP）的新方法，以应对训练非常深层的预测编码网络（PCN）的挑战。传统的PCN在深层架构中学习信号衰减迅速的问题，阻碍了它们在浅层网络之外的有效性。HEP通过直接将隐藏状态与输出误差耦合的反馈矩阵修改PCN的结构，确保无论网络深度如何，都能获得一致的校正信号。该方法在MNIST和Fashion-MNIST等基准测试中成功训练了多达128层的多层感知机，展示了强大的准确性。
-
新型霍普菲尔德网络变体提升联想记忆鲁棒性
研究人员引入了卷积受限霍普菲尔德网络（CRHNs）作为一种新颖的联想记忆方法，旨在提高对对抗性扰动和输入损坏的鲁棒性。与现代霍普菲尔德网络（MHNs）和预测编码网络（PCNs）等现有模型不同，CRHNs将卷积特征提取与基于吸引子的记忆检索集成到一个结构化的潜在空间中。在自学学习（Self-Taught Learning）数据集上的实验表明，CRHNs的性能显著优于MHNs和PCNs，重建误差最多可降低一个数量级，并在退化程度增加的情况…
-
平衡传播可扩展至在ImageNet上训练大型预测编码网络
研究人员开发了一种使用平衡传播（EP）这一基于物理学的框架来训练预测编码网络（PCNs）的新方法。这种新颖的方法成功地将EP和PCNs扩展到在完整的ImageNet数据集上训练一个10层卷积网络。该训练网络的top-5分类错误率为13.23%，接近传统反向传播方法的12.2%错误率。
-
预测编码网络在理论上可媲美反向传播
研究人员对预测编码网络（PCNs）的无限宽度和深度极限进行了理论分析，PCNs是标准反向传播的替代方案。他们的研究结果表明，对于线性残差网络，在特定参数化下，PCNs可以实现与反向传播相同的梯度计算。当模型的宽度显著大于其深度时，会收敛到反向传播的损失函数，这表明在类脑网络架构中存在局部更新的可能性。