新的权重反馈方法增强了深度网络中的局部更新

研究人员开发了一种名为基于激活的预测编码的权重反馈（WF-Act-PC）的新方法，该方法允许在深度神经网络中进行更局部的权重更新。该方法旨在克服对非局部操作（特别是雅可比矩阵转置）的依赖，而雅可比矩阵转置是传统预测编码方法中的瓶颈。通过将雅可比矩阵转置分解为局部可用的项，WF-Act-PC 消除了误差传输所需的完整自动微分反向传播。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上的实验表明，WF-Act-PC 提高了网络深度的准确性，并在某些架构上达到或超过了反向传播的性能。 AI

影响 这项研究可能为深度神经网络带来更有效和更具生物学可解释性的训练方法。

排序理由 该集群包含一篇详细介绍深度学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• backpropagation
• CIFAR-10
• CIFAR-100
• Jacobian transpose
• Predictive Coding
• ResNet-18
• Tiny-ImageNet
• VGG-9
• Weight Feedback Computes the Jacobian Transpose Locally in Modern Deep Networks
• WF-Act-PC

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →