backpropagation
PulseAugur coverage of backpropagation — every cluster mentioning backpropagation across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
通过代码和类比解释反向传播和矩阵微积分
本文解释了反向传播和矩阵微积分在深度学习中的数学概念。它使用工厂装配线的类比来说明如何通过反向传播识别和纠正错误，这类似于神经网络中梯度的计算。解释中详细介绍了用于进行预测的前向传播、代表客户不满意的损失函数，以及通过层追溯错误以使用梯度下降调整参数的反向传播。
-
引入受神经科学启发的自监督学习框架
研究人员引入了元表征预测编码（MPC），一种受神经科学启发的创新自监督学习框架。该方法旨在通过学习预测并行数据流而非原始输入的表征，来克服传统反向传播和监督学习的局限性。MPC利用自由能原理和主动推理，实现了一种仅编码器的学习方案，通过决策来采样信息性感官数据，从而驱动表征动力学。
-
新型统一复值神经网络整合连续和事件驱动学习
研究人员开发了一种新颖的统一复值神经网络（UCNN），它整合了连续值表示和事件驱动的时间处理。该新模型基于统一复值神经元（UCN），使用幅度编码信号强度，并使用相位控制时间演化和脉冲发射。UCNN框架支持通过反向传播和反向传播随时间进行训练，并提供了一种事件驱动的自适应相位学习规则，作为一种计算效率更高的替代方案。在目标跟踪和洛伦兹吸引子学习中的评估表明，UCNN在保持稀疏、事件驱动的计算（适用于神经形态和边缘AI应用）的同时，能够实…
-
大型语言模型如何工作：预测、Token、训练和注意力机制
大型语言模型（LLMs）的根本运作方式是通过预测序列中的下一个词，这个过程会内隐地教会它们语法、事实和推理。在预测之前，文本会被分解成Token并转换为数值表示以进行数学处理。训练阶段涉及根据海量文本调整数十亿个参数，使模型能够在没有明确规则的情况下学习模式和信息。一个关键的创新是Transformer架构中的注意力机制，它使模型在预测后续词时能够权衡早期词的重要性，这对于理解上下文和解决歧义至关重要。
-
新协议揭示深度学习反馈对齐方法中的隐性故障
研究人员发现，深度学习中反馈对齐（FA）技术的标准评估方法存在重大局限性。目前的评估依赖于任务准确率和梯度余弦相似度，但这会掩盖关键的故障模式。一个问题是测量退化，即在某些架构中梯度会崩溃，导致余弦相似度失去意义。另一个问题是聚合崩溃，即层级异质性被聚合分数所隐藏。为了解决这个问题，提出了一种使用尺度稳定性、参考有效性和深度效用检查的新诊断协议，以及逐层余弦报告，以更好地识别和指导有效的FA方法的开发。
-
AI研究人员编写了生物学上可行的网络训练算法
一位Reddit用户分享了他们根据诺贝尔奖得主Geoffrey Hinton的研究编写生物学上可行的网络训练算法的经验。这次探索深入研究了提出传统反向传播方法替代方案的研究论文，暗示着AI训练正朝着更符合生物学现实的方向发展。
-
新论文提出受生物启发的神经元模型，用于高效在线学习
一篇新论文介绍了一种新颖的多层神经元网络力学模型，该模型从生物计算中汲取灵感。该模型为传统的反向传播提供了一种实用的替代方案，能够通过流式数据进行高效的在线学习。该方法在图像分类任务中已展现出具有竞争力的性能，预示着将生物学精确神经元模型与机器学习算法统一起来的一个有前景的方向。
-
预测编码显示出比反向传播更高的样本效率
研究人员开发了一种名为“目标对齐”的新指标，以理论上理解为什么在神经网络中，预测编码（PC）比反向传播（BP）更具样本效率。他们的分析，特别是在深度线性网络中，表明PC学习效率更高，尤其是在深度、狭窄和预训练模型中。该研究提供了分析表达式和实验验证，为优化PC以实现有效学习提供了见解。
-
反馈对齐训练方法通过新的降维技术得到改进
研究人员发现反馈对齐（FA）方法在训练神经网络时存在一个关键限制，该方法绕过了反向传播的生物学不可靠性。他们发现FA的误差信号秩低于反向传播中使用的误差信号，限制了参数空间的探索并阻碍了其向更深层架构的可扩展性。为解决此问题，该研究提出了两种机制：一种名为Muon的优化器，可使权重更新正交化；以及一种隐藏活动归一化，可促进激活正交性。这些方法显著提高了FA在CIFAR100等基准测试上的性能，表明增加更新几何的降维对于FA作为反向传播…
-
新的ePC方法加速神经网络训练
研究人员开发了一种名为基于误差的预测编码（ePC）的新方法，该方法显著加快了数字硬件上神经网络的训练速度。传统的预测编码（PC）方法在仿真中存在信号衰减的问题，这阻碍了它们在更深层网络中的有效性。ePC重新构建了PC，消除了这种衰减，使其在复杂模型上也能达到与反向传播相当的性能，同时运行速度快几个数量级。
-
前向-前向学习在实际任务上表现不如反向传播
一篇新的研究论文对 Geoffrey Hinton 提出的层局部训练方法——前向-前向（FF）学习算法的可扩展性提出了质疑。该研究引入了一种新工具 DTG-FF，该工具在包括 ImageNet-100 在内的多个真实世界基准测试中为 FF 设定了新的最先进水平。然而，研究表明，在更大的数据集和更高的类别数量下，FF 的表现明显逊于标准的反向传播（BP），这表明存在实际性能上限。此外，该论文还驳斥了 FF 在规模化方面的内存效率论点，表…
-
新训练方法将反向传播与局部更新相匹配
研究人员开发了一种名为增强拉格朗日预测编码（PC-ALM）的新训练方法，旨在弥合深度神经网络中局部学习与反向传播之间的差距。PC-ALM 在保持预测编码效率的同时，融入了与反向传播梯度精度一致的层局部更新。该方法已证明在各种网络深度和宽度上都能匹配反向传播的性能，尤其在传统预测编码难以应对的深度窄架构中表现出色。PC-ALM 引入的新动力学也使得在非常深的网络中能够更快、更均匀地传播信用。
-
反向传播在一个训练周期内损害神经网络与大脑的对齐
一项新的研究论文揭示，标准的监督训练方法，特别是反向传播，会迅速损害人工神经网络与人脑早期视觉皮层对齐的程度。这种损害在一个训练周期内就会发生，这表明由于固有的归纳偏置，未经训练的网络可能更有效地捕捉低级视觉统计信息。像预测编码和尖峰时间依赖可塑性这样的替代学习规则显示出较小的损害，在早期视觉表示中保留了更多类似大脑的结构。
-
AI学习机制与人脑处理方式存在差异
一项新的研究论文探讨了人工神经网络的学习方式与人脑处理视觉信息的方式之间的区别。尽管深度学习模型和人脑在表示视觉内容方面都表现出相似之处，但研究发现学习机制存在显著差异。具体而言，深度学习中使用的反向传播算法与人脑视觉皮层中观察到的层级处理方式不匹配。
-
预测编码网络在理论上可媲美反向传播
研究人员对预测编码网络（PCNs）的无限宽度和深度极限进行了理论分析，PCNs是标准反向传播的替代方案。他们的研究结果表明，对于线性残差网络，在特定参数化下，PCNs可以实现与反向传播相同的梯度计算。当模型的宽度显著大于其深度时，会收敛到反向传播的损失函数，这表明在类脑网络架构中存在局部更新的可能性。
-
AI学习规则与早期灵长类视觉一致，在较高区域出现分歧
研究人员发表了一项研究，比较了人工神经网络中的不同学习规则与人类和猕猴视觉处理过程的匹配程度。研究发现，早期视觉皮层的对齐在物种间是保守的，人工神经网络与猕猴电生理学数据的相关性高于与人类fMRI数据的相关性。然而，在IT皮层等较高视觉区域，学习规则的对齐排名在物种间存在显著差异，这表明模型容量和训练数据在这些区域比具体的学习规则起着更大的作用。
-
新的预测编码方法在速度上可媲美反向传播
研究人员开发了一种新的预测编码网络方法，解决了其在深度增加时速度和性能方面的历史局限性。通过将这些网络视为深度分层高斯滤波器并结合精度加权消息传递，新方法能够实现动态不确定性估计和与赫布规则兼容的更新。这种闭式变分推断方法使网络能够同时学习激活、权重和精度，而无需迭代松弛或全局误差信号，在基准任务上的性能可与反向传播相媲美。
-
受大脑启发的FRE-RNN使均衡传播在AI领域更具实用性
研究人员开发了一种新的循环神经网络架构，即反馈调节残差循环神经网络（FRE-RNN），旨在提高受大脑启发的计算中均衡传播（EP）的实用性。该模型结合了反馈调节以加速收敛，并利用残差连接来对抗梯度消失，在基准任务上取得了与反向传播相当的性能。这些进展显著降低了EP的计算成本和训练时间，使其更适用于大规模AI网络，并为物理神经网络中的原地学习提供了见解。
-
Mono-Forward 算法提供了一种替代反向传播的局部学习方法
研究人员推出了一种名为 Mono-Forward (MF) 的新算法，旨在改进用于训练深度神经网络的前向前向 (FF) 方法。MF 保留了 FF 的局部学习和更小的内存占用，并用标准的交叉熵损失取代了其对比优度目标。这一修改使得 MF 在某些任务（例如 PathMNIST 上的 MLP-Mixers）上能够与 FF 甚至反向传播相媲美或表现更优，同时使用的内存显著减少。
-
研究发现，未经训练的卷积神经网络在V1区域与人类视觉皮层相匹配
一项发表在arXiv上的新研究调查了神经网络中不同的学习规则与人类大脑在视觉处理中的活动相比如何。研究人员发现，对于V1和V2等早期视觉区域，网络的架构比使用的学习规则更具影响力。然而，随着处理进入外侧枕叶复合体（LOC）和颞下回（IT）皮层等更高级别的区域，学习规则开始显示出差异，其中反向传播在LOC区域被证明更有效。