predictive coding
PulseAugur coverage of predictive coding — every cluster mentioning predictive coding across labs, papers, and developer communities, ranked by signal.
- 2026-05-19 research_milestone Researchers published a paper detailing a new closed-form predictive coding method using hierarchical Gaussian filters. 来源
2 天有情绪数据
-
引入受神经科学启发的自监督学习框架
研究人员引入了元表征预测编码（MPC），一种受神经科学启发的创新自监督学习框架。该方法旨在通过学习预测并行数据流而非原始输入的表征，来克服传统反向传播和监督学习的局限性。MPC利用自由能原理和主动推理，实现了一种仅编码器的学习方案，通过决策来采样信息性感官数据，从而驱动表征动力学。
-
预测编码显示出比反向传播更高的样本效率
研究人员开发了一种名为“目标对齐”的新指标，以理论上理解为什么在神经网络中，预测编码（PC）比反向传播（BP）更具样本效率。他们的分析，特别是在深度线性网络中，表明PC学习效率更高，尤其是在深度、狭窄和预训练模型中。该研究提供了分析表达式和实验验证，为优化PC以实现有效学习提供了见解。
-
预测性处理理论为人工智能意识提供了框架
最近在LessWrong上的一场讨论探讨了预测性处理理论作为理解人工智能（特别是大型语言模型LLMs）意识的潜在框架。该理论认为，意识源于一个内部世界模型，该模型不断对刺激进行预测，并根据预测误差进行更新。这与LLMs的训练过程一致，其中下一个词元预测和权重更新是核心。作者推测，如果LLMs有意识，它很可能在预训练阶段出现，而微调则使它们能够模拟特定的人格。
-
新的ePC方法加速神经网络训练
研究人员开发了一种名为基于误差的预测编码（ePC）的新方法，该方法显著加快了数字硬件上神经网络的训练速度。传统的预测编码（PC）方法在仿真中存在信号衰减的问题，这阻碍了它们在更深层网络中的有效性。ePC重新构建了PC，消除了这种衰减，使其在复杂模型上也能达到与反向传播相当的性能，同时运行速度快几个数量级。
-
新训练方法将反向传播与局部更新相匹配
研究人员开发了一种名为增强拉格朗日预测编码（PC-ALM）的新训练方法，旨在弥合深度神经网络中局部学习与反向传播之间的差距。PC-ALM 在保持预测编码效率的同时，融入了与反向传播梯度精度一致的层局部更新。该方法已证明在各种网络深度和宽度上都能匹配反向传播的性能，尤其在传统预测编码难以应对的深度窄架构中表现出色。PC-ALM 引入的新动力学也使得在非常深的网络中能够更快、更均匀地传播信用。
-
反向传播在一个训练周期内损害神经网络与大脑的对齐
一项新的研究论文揭示，标准的监督训练方法，特别是反向传播，会迅速损害人工神经网络与人脑早期视觉皮层对齐的程度。这种损害在一个训练周期内就会发生，这表明由于固有的归纳偏置，未经训练的网络可能更有效地捕捉低级视觉统计信息。像预测编码和尖峰时间依赖可塑性这样的替代学习规则显示出较小的损害，在早期视觉表示中保留了更多类似大脑的结构。
-
AI学习规则与早期灵长类视觉一致，在较高区域出现分歧
研究人员发表了一项研究，比较了人工神经网络中的不同学习规则与人类和猕猴视觉处理过程的匹配程度。研究发现，早期视觉皮层的对齐在物种间是保守的，人工神经网络与猕猴电生理学数据的相关性高于与人类fMRI数据的相关性。然而，在IT皮层等较高视觉区域，学习规则的对齐排名在物种间存在显著差异，这表明模型容量和训练数据在这些区域比具体的学习规则起着更大的作用。
-
新的预测编码方法在速度上可媲美反向传播
研究人员开发了一种新的预测编码网络方法，解决了其在深度增加时速度和性能方面的历史局限性。通过将这些网络视为深度分层高斯滤波器并结合精度加权消息传递，新方法能够实现动态不确定性估计和与赫布规则兼容的更新。这种闭式变分推断方法使网络能够同时学习激活、权重和精度，而无需迭代松弛或全局误差信号，在基准任务上的性能可与反向传播相媲美。
-
研究发现，未经训练的卷积神经网络在V1区域与人类视觉皮层相匹配
一项发表在arXiv上的新研究调查了神经网络中不同的学习规则与人类大脑在视觉处理中的活动相比如何。研究人员发现，对于V1和V2等早期视觉区域，网络的架构比使用的学习规则更具影响力。然而，随着处理进入外侧枕叶复合体（LOC）和颞下回（IT）皮层等更高级别的区域，学习规则开始显示出差异，其中反向传播在LOC区域被证明更有效。