Predictive Coding Networks
PulseAugur coverage of Predictive Coding Networks — every cluster mentioning Predictive Coding Networks across labs, papers, and developer communities, ranked by signal.
-
Deepity C++ 库使用预测编码网络媲美反向传播
一个名为 Deepity 的新 C++ 机器学习库已被开发出来，旨在证明预测编码网络（PCNs）可以达到与传统反向传播相当的性能。通过实现近期关于加速 PCNs 的研究并利用算法缓存，Deepity 在 CPU 上不到一分钟内就在 MNIST 上达到了 97.73% 的准确率，与 PyTorch 的反向传播性能非常接近。开发者计划将该库移植到 CUDA 以进行进一步扩展，并探索 PCNs 在持续学习场景中的能力。
-
New inference schedule boosts predictive coding network accuracy on CIFAR-10
研究人员提出了一种优化预测编码网络（PCNs）中隐藏状态顺序的新方法，以改进特征学习。这种边界优先的推理调度将模型划分为块，在块内进行细化之前协调边界处的隐藏状态。当应用于PCNs时，这种方法显著提高了在CIFAR-10数据集上的准确性，标准参数化提高了9.77%，μ参数化提高了5.51%。该研究表明，这种基于块的推理是PCN训练以及其他局部学习系统的宝贵设计原则。
-
新的训练方法增强了用于异常检测的预测编码网络
研究人员开发了一种新颖的预测编码网络（PCN）训练技术，以克服顺序误差传播的瓶颈。该方法将生成PCN与编码PCN配对，使它们并行训练以匹配神经激活，而无需反向传播。该方法已应用于时间序列异常检测，展示了更稳定和连续的在线学习能力。
-
新分析量化了预测编码网络中的拓扑简化
研究人员利用持久同调来分析预测编码网络（PCNs）中学习到的表示的拓扑结构。他们的研究在合成数据集和MNIST数据库上进行，结果显示，较小的PCN倾向于比大型模型更早地简化其跨层的拓扑特征。发现简化深度与重建误差之间存在显著的负相关，表明较晚的简化会导致更好的重建。研究结果表明，持久同调可以定量评估PCN中的压缩-重建权衡，该权衡受模型容量和网络递归动力学的影响。
-
新研究使用持久同调分析AI模型拓扑
研究人员分析了预测编码网络（PCNs）中学习到的表示的拓扑结构，PCNs是一种受神经科学启发的双向架构。通过对在合成数据和MNIST上训练的PCNs进行持久同调分析，他们观察到较小的模型倾向于比较大的模型更早地简化跨层的拓扑特征。研究还发现简化深度与重建误差之间存在相关性，表明较晚的简化会导致更好的重建。此外，PCNs简化连通分量的时间始终晚于匹配的多层感知机（MLPs），这表明模型容量和PCNs的循环动力学影响着这一简化过程。
-
新方法可训练非常深层的预测编码网络
研究人员提出了一种名为高速公路误差传播（HEP）的新方法，以应对训练非常深层的预测编码网络（PCN）的挑战。传统的PCN在深层架构中学习信号衰减迅速的问题，阻碍了它们在浅层网络之外的有效性。HEP通过直接将隐藏状态与输出误差耦合的反馈矩阵修改PCN的结构，确保无论网络深度如何，都能获得一致的校正信号。该方法在MNIST和Fashion-MNIST等基准测试中成功训练了多达128层的多层感知机，展示了强大的准确性。
-
新型霍普菲尔德网络变体提升联想记忆鲁棒性
研究人员引入了卷积受限霍普菲尔德网络（CRHNs）作为一种新颖的联想记忆方法，旨在提高对对抗性扰动和输入损坏的鲁棒性。与现代霍普菲尔德网络（MHNs）和预测编码网络（PCNs）等现有模型不同，CRHNs将卷积特征提取与基于吸引子的记忆检索集成到一个结构化的潜在空间中。在自学学习（Self-Taught Learning）数据集上的实验表明，CRHNs的性能显著优于MHNs和PCNs，重建误差最多可降低一个数量级，并在退化程度增加的情况…
-
平衡传播可扩展至在ImageNet上训练大型预测编码网络
研究人员开发了一种使用平衡传播（EP）这一基于物理学的框架来训练预测编码网络（PCNs）的新方法。这种新颖的方法成功地将EP和PCNs扩展到在完整的ImageNet数据集上训练一个10层卷积网络。该训练网络的top-5分类错误率为13.23%，接近传统反向传播方法的12.2%错误率。
-
预测编码网络在理论上可媲美反向传播
研究人员对预测编码网络（PCNs）的无限宽度和深度极限进行了理论分析，PCNs是标准反向传播的替代方案。他们的研究结果表明，对于线性残差网络，在特定参数化下，PCNs可以实现与反向传播相同的梯度计算。当模型的宽度显著大于其深度时，会收敛到反向传播的损失函数，这表明在类脑网络架构中存在局部更新的可能性。