backpropagation
PulseAugur coverage of backpropagation — every cluster mentioning backpropagation across labs, papers, and developer communities, ranked by signal.
- instance of Gotit.pub 90%
- used by Gotit.pub 70%
- competes with predictive coding 70%
- competes with feedback alignment 70%
- used by feedback alignment 70%
- developed predictive coding 60%
- competes with Spike-timing dependent plasticity 60%
- other predictive coding 60%
- other Spike-timing dependent plasticity 60%
- used by predictive coding 50%
- other Gotit.pub 50%
- other CatalyzeX Code Finder for Papers 50%
5 天有情绪数据
-
Dust 研究探索无需反向传播的 Transformer 预训练
一篇新的研究论文介绍了 Dust，一种无需依赖反向传播即可预训练 Transformer 模型的方法。该方法旨在探索大型语言模型的替代训练范式。研究结果为更有效或不同类型的模型训练提供了潜在途径。
-
新的“有效维度”度量量化学习性能因素
研究人员引入了“有效维度”，这是一种新颖的学习度量，旨在量化诸如构造性归纳、噪声过滤和背景知识等问题属性对平均情况学习性能的影响。这种新的度量可以经验性地估计并做出平均情况预测，旨在比 Vapnik-Chervonenkis (VC) 维度具有更广泛的适用性。该论文展示了有效维度在包括 Backpropagation 在内的各种学习系统中的效用，并精确预测了像 FRINGE 这样的特征构造系统的优势，表明这些优势随着目标概念复杂度的增加而减弱。
-
新的前向目标传播方法为反向传播提供了替代方案
研究人员推出了一种新颖的神经网络训练方法——前向目标传播（FTP），该方法绕过了传统反向传播算法。FTP 利用仅前向传播来局部分配误差信用，使其在生物学上更合理，并且对硬件更有效。初步评估表明，FTP 在 MNIST、CIFAR-10 和 CIFAR-100 等标准数据集上实现了具有竞争力的准确性，同时在低精度环境中也表现出卓越的性能，并具有在设备上进行节能学习的潜力。
-
新研究探索自监督学习在公平性、效率和多样化输出方面的应用
多篇研究论文探讨了自监督学习（SSL）的进展，这是一种在无标签数据上训练模型的技术。其中一项研究FairSSL，通过利用数据异质性和主题感知正则化，引入了一个框架来提高多模态SSL的公平性。另一篇论文研究了增加网络宽度如何使贪婪的逐层训练在SSL中能与端到端反向传播相媲美，尤其是在更宽的网络中。进一步的研究深入探讨了哪些下游任务最能从SSL中受益，发现它在异常检测和分类方面有效，但在预测方面效果不佳。此外，一种名为DRY-SFT的新方…
-
新方法使用闭式解训练二次神经网络
研究人员开发了一种新颖的最小二乘法来训练二次神经网络，并结合正则化来为优化问题的解设定下界。该方法为网络权重及其对数据误差的敏感性提供了闭式表达式，与反向传播等迭代方法相比，显著缩短了计算时间。该方法提供了权重和敏感性的解析表达式，并将优化与核范数最小化联系起来，在非线性系统辨识示例中证明了其效用。
-
Sakana AI 提出层局部训练方法以训练 1000 层网络
Sakana AI 的研究人员开发了一种名为增强拉格朗日预测编码 (PC-ALM) 的新颖训练方法，它提供了一种传统的反向传播的层局部替代方法。这种新方法允许训练非常深（多达 1000 层）的神经网络，同时保持接近反向传播的性能。该方法已在 MNIST 和 Fashion-MNIST 等小型图像基准测试中得到验证，与标准的预测编码相比，在深层窄网络架构中显示出显著的改进。
-
SakanaAI 提出 PC-ALM 作为深度网络反向传播的替代方案
SakanaAI 推出了增强拉格朗日预测编码 (PC-ALM)，这是一种用于训练深度神经网络的新颖方法，为传统反向传播提供了一种替代方案。PC-ALM 利用层局部动力学系统传播监督信用，能够训练深度高达 1000 层的网络，性能与反向传播相当。该方法从预测编码中汲取灵感，旨在模仿生物学习机制，有望在神经形态硬件上实现更节能的深度学习。
-
新研究探讨多智能体AI系统中的合作与通信 · 已追踪4个来源
研究人员开发了多智能体学习的新方法，重点在于增强人工智能智能体之间的合作与通信。一种方法，“具有合作驱动优化动态的多智能体学习”，提出小型神经网络可以通过共享预测和相互影响训练，集体表现优于单个大型神经网络。另一个框架，“多智能体正则化通信 (MARC)”，引入了一种新颖的鲁棒且高效的通信系统，特别是在通信瓶颈和有损信道下，这对于自动机器人网络等应用至关重要。
-
新型梯度穿隧算法解决神经网络微环路反馈学习问题
研究人员开发了一种新颖的梯度穿隧（GT）算法，以解决神经网络微环路（NMCs）中的时间信用分配挑战。该新框架利用了超前滞后展开技术，从局部突触脉冲时序中获得学习信用，为大脑的学习机制提供了生物学上可信的解释。GT算法实现了NMCs的在线反馈学习框架，在长时程证据整合和记忆保持方面表现优于现有方法，同时使用的参数更少。该方法也兼容混合人工神经网络（ANN）和脉冲神经网络（SNN）架构。
-
量子辅助训练大幅减少Wi-Fi活动识别参数
研究人员开发了一种新颖的量子辅助内存高效训练框架（Q-MET），用于基于Wi-Fi的人类活动识别。该方法通过使用混合量子-经典神经网络，显著减少了可训练参数的数量，与传统的反向传播方法相比，减少了90-95%，同时保持了高精度。此外，Q-MET还采用了结构化剪枝来实现模型稀疏性，使其适用于资源受限的设备。
-
提出神经形态系统的不变结构学习理论
一篇新论文介绍了不变结构学习（ISL），这是一种在神经形态系统中形成概念的非优化方法。ISL 将学习建模为超图空间内结构吸引子的收敛，这与传统的损失函数最小化不同。该研究包括数学形式化、在无反向传播的图像识别任务上的计算验证，以及与树突和突触可塑性相关的假设性神经生物学解释。
-
Deepity C++ 库使用预测编码网络媲美反向传播
一个名为 Deepity 的新 C++ 机器学习库已被开发出来，旨在证明预测编码网络（PCNs）可以达到与传统反向传播相当的性能。通过实现近期关于加速 PCNs 的研究并利用算法缓存，Deepity 在 CPU 上不到一分钟内就在 MNIST 上达到了 97.73% 的准确率，与 PyTorch 的反向传播性能非常接近。开发者计划将该库移植到 CUDA 以进行进一步扩展，并探索 PCNs 在持续学习场景中的能力。
-
公开了一种物理神经网络的新训练方法
研究人员开发了一种名为近平衡传播（NEP）的新训练方法，该方法将平衡传播（EP）扩展用于复值波系统。这种新颖的方法即使在弱耗散状态下也有效，并且允许通过调整局部参数进行原地训练，而无需直接控制节点间的连接。该方法已成功在逻辑任务和手写数字识别的基准测试中得到验证，显示出稳定的收敛性，并为训练控制受限的物理系统提供了一条实用的途径。
-
新的 arXiv 论文探讨神经网络计算与学习之间的断开
两篇新的 arXiv 论文探讨了神经计算的动力学，重点关注复杂的前向计算与更简单的学习机制之间的分歧。第一篇论文引入了一个“生成-事实图”来统一训练、学习和推理，并展示了一个使用 nanoGPT 和 ResNet 在保留运行中具有高准确率的预测模型。第二篇论文识别出一种“前向-后向断开”，指出虽然神经网络中的前向计算已高度多样化，但学习方法在很大程度上仍围绕反向传播及其变体。两篇论文都表明需要更好地协调这些方面，以实现更具生物学基础和…
-
研究发现AI模型-大脑比较对图像分辨率敏感
一篇新发表在arXiv上的研究调查了卷积神经网络的评估分辨率如何显著影响不同学习规则之间的比较，特别是在模拟早期视觉皮层方面。研究人员发现，一个普遍的发现——即未经训练或局部训练的网络在早期视觉皮层表征中优于反向传播——高度依赖于评估分辨率，随着分辨率的提高，差距会显著扩大。研究表明，图像细节是这种效应的主要驱动因素，而不是池化机制，并且比较的敏感性受限于单个标量亮度值中包含的信息。
-
新理论统一AI硬件的物理反向传播
研究人员开发了一种统一的物理反向传播理论，能够在物理计算系统中实现基于梯度的优化。该理论基于伴随方法，确定了硬件在何种条件下可以计算其自身性能的精确梯度。该框架涵盖了现有的方法，如平衡传播和哈密顿回声反向传播，并扩展到非厄米和时变系统，为物理学习算法提供了理论基础。
-
理解反向传播：神经网络中的链式法则
本文解释了链式法则的数学概念及其在反向传播中的关键作用，反向传播是用于训练人工智能神经网络的算法。文章演示了如何手动计算导数并通过微小的数值扰动进行验证，这是一种对基于梯度的学习至关重要的调试技术。解释涵盖了一个简单的两层网络，详细介绍了计算输出的前向传播和计算每个参数的梯度的后向传播，并强调了该过程对大型模型的效率。
-
神经网络权重揭示时序数据结构和表征漂移
研究人员正在探索如何在训练完成后从神经网络权重中恢复时序结构。一项研究提出使用隐马尔可夫模型来分析权重轨迹并识别不同的数据状态，当数据落在同一识别状态内时，泛化能力得到提高。另一项调查比较了反向传播和赫布学习，结果显示虽然两种方法都可以训练网络执行任务，但赫布学习会导致内部网络状态出现显著的表征漂移，即使在性能趋于平稳后也是如此，这与反向传播不同。
-
新方法仅使用前向波动重建反向传播
研究人员开发了一种仅使用前向传递统计数据在噪声调制神经网络 (NNNs) 中重建反向传播算法的方法。该方法通过避免转置权重和反向数据路径，解决了传统反向传播在生物学和神经形态学上的不可能性。所提出的技术利用权重镜像从单元协方差估计权重矩阵，并在单元内进行局部微分估计以递归传播误差。当与局部 Adam 更新相结合时，这种仅前向的替代方法在回归任务上实现了与标准反向传播相当的准确性，并且其设计非常适合数字电路。
-
研究探索 Sign-Symmetry 学习规则以实现强大的神经网络微调
一篇研究论文提出将 Sign-Symmetry 学习规则作为神经网络的微调方法，旨在提高鲁棒性而不牺牲性能，与标准反向传播相比。由 Aymene Berriche 进行的研究通过在各种任务和基准测试中的广泛实验证明了这种方法。尽管该论文后来被撤回，但其发现为在深度学习中使用受生物学启发的学习规则开辟了新途径。