Predictive Coding Networks
PulseAugur coverage of Predictive Coding Networks — every cluster mentioning Predictive Coding Networks across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新分析量化了预测编码网络中的拓扑简化
研究人员利用持久同调来分析预测编码网络（PCNs）中学习到的表示的拓扑结构。他们的研究在合成数据集和MNIST数据库上进行，结果显示，较小的PCN倾向于比大型模型更早地简化其跨层的拓扑特征。发现简化深度与重建误差之间存在显著的负相关，表明较晚的简化会导致更好的重建。研究结果表明，持久同调可以定量评估PCN中的压缩-重建权衡，该权衡受模型容量和网络递归动力学的影响。
-
新研究使用持久同调分析AI模型拓扑
研究人员分析了预测编码网络（PCNs）中学习到的表示的拓扑结构，PCNs是一种受神经科学启发的双向架构。通过对在合成数据和MNIST上训练的PCNs进行持久同调分析，他们观察到较小的模型倾向于比较大的模型更早地简化跨层的拓扑特征。研究还发现简化深度与重建误差之间存在相关性，表明较晚的简化会导致更好的重建。此外，PCNs简化连通分量的时间始终晚于匹配的多层感知机（MLPs），这表明模型容量和PCNs的循环动力学影响着这一简化过程。
-
新方法可训练非常深层的预测编码网络
研究人员提出了一种名为高速公路误差传播（HEP）的新方法，以应对训练非常深层的预测编码网络（PCN）的挑战。传统的PCN在深层架构中学习信号衰减迅速的问题，阻碍了它们在浅层网络之外的有效性。HEP通过直接将隐藏状态与输出误差耦合的反馈矩阵修改PCN的结构，确保无论网络深度如何，都能获得一致的校正信号。该方法在MNIST和Fashion-MNIST等基准测试中成功训练了多达128层的多层感知机，展示了强大的准确性。
-
新型霍普菲尔德网络变体提升联想记忆鲁棒性
研究人员引入了卷积受限霍普菲尔德网络（CRHNs）作为一种新颖的联想记忆方法，旨在提高对对抗性扰动和输入损坏的鲁棒性。与现代霍普菲尔德网络（MHNs）和预测编码网络（PCNs）等现有模型不同，CRHNs将卷积特征提取与基于吸引子的记忆检索集成到一个结构化的潜在空间中。在自学学习（Self-Taught Learning）数据集上的实验表明，CRHNs的性能显著优于MHNs和PCNs，重建误差最多可降低一个数量级，并在退化程度增加的情况…
-
平衡传播可扩展至在ImageNet上训练大型预测编码网络
研究人员开发了一种使用平衡传播（EP）这一基于物理学的框架来训练预测编码网络（PCNs）的新方法。这种新颖的方法成功地将EP和PCNs扩展到在完整的ImageNet数据集上训练一个10层卷积网络。该训练网络的top-5分类错误率为13.23%，接近传统反向传播方法的12.2%错误率。
-
预测编码网络在理论上可媲美反向传播
研究人员对预测编码网络（PCNs）的无限宽度和深度极限进行了理论分析，PCNs是标准反向传播的替代方案。他们的研究结果表明，对于线性残差网络，在特定参数化下，PCNs可以实现与反向传播相同的梯度计算。当模型的宽度显著大于其深度时，会收敛到反向传播的损失函数，这表明在类脑网络架构中存在局部更新的可能性。