backpropagation
PulseAugur coverage of backpropagation — every cluster mentioning backpropagation across labs, papers, and developer communities, ranked by signal.
- instance of Gotit.pub 90%
- competes with predictive coding 70%
- competes with feedback alignment 70%
- used by Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation 70%
- used by feedback alignment 70%
- developed predictive coding 60%
- other Spike-timing dependent plasticity 60%
- other predictive coding 60%
- competes with Spike-timing dependent plasticity 60%
- used by Gotit.pub 60%
- instance of CatalyzeX Code Finder for Papers 60%
- used by predictive coding 50%
7 天有情绪数据
-
编码代理通过“代码即光学”训练光学神经网络
研究人员开发了一种名为“代码即光学”的新方法,该方法利用由大型语言模型驱动的编码代理,直接从硬件测量中训练光学神经网络。这种方法绕过了对每个设备进行校准或复杂梯度计算的需要,使代理能够学习对光学系统的物理理解。与无梯度技术相比,该方法在分类和图像编码方面表现出优越的性能,并且以较低的成本达到了传统反向传播的效率,为可扩展的光学神经网络铺平了道路。
-
学生寻求对神经网络反向传播的直观解释
一名研究生正在寻求对神经网络训练中使用的反向传播算法的直观解释和可视化。他理解前向传播,但在反向传播过程中的权重调整方面遇到困难。该学生正在寻求关于如何更好地概念化和可视化神经网络开发的这一方面的建议。
-
新的自然PC方法在神经网络训练中实现了最先进的效率
研究人员开发了一种名为自然PC的新方法,该方法增强了用于训练神经网络的预测编码(PC)。该方法使用横向电路实现高效的自然梯度学习,通过学习代表Fisher信息矩阵的活动相关性来绕过昂贵的矩阵求逆。自然PC在图像重建任务的样本和计算效率方面展示了最先进的性能,特别是在使用显著更低的计算成本和训练样本的情况下,在ImageNet上达到了与AdamW的随机梯度下降相媲美的效果。
-
在 Qwen3-4B 模型上测量的 Rank-8 LoRA 效率
一篇技术文章详细介绍了 AI 模型如何学习,重点关注反向传播算法和 AdamW 优化器。文章特别测量了 Rank-8 LoRA(低秩适配)在 Qwen3-4B 模型上的性能。作者强调了完全微调所需的巨大 VRAM 要求,可能超过 68 GB,并将其与 Rank-8 LoRA 的低得多内存占用进行对比,后者可以高效地训练适配器权重。
-
arXiv论文详述循环网络和前馈网络中的反向传播细节
arXiv上的两篇新论文深入探讨了反向传播的复杂性,这是训练神经网络的基本算法。第一篇论文探讨了在循环模型中截断反向传播随时间推移如何导致“梯度收费公路特性”,影响状态演化和梯度计算。第二篇论文详细分步推导了前馈网络的标准反向传播算法,并通过一个运行示例和NumPy实现来说明其应用。
-
新的非线性直接反馈对齐方法缩小了与反向传播的差距
研究人员开发了非线性直接反馈对齐(NDFA),一种用于训练深度神经网络的新颖方法,解决了传统反向传播算法的局限性。NDFA 利用轻量级的非线性代理子网络来改进反馈机制,从而实现跨层更有效的并行训练。在各种数据集和网络架构上的实验表明,与反向传播相比,NDFA 显著缩小了性能差距,同时优于现有的直接反馈对齐方法。
-
新的 Neural LoFi 方法增强了跨层特征学习
研究人员开发了一种名为 Neural LoFi with Backward Coupling 的新方法,该方法扩展了 Neural Low-Degree Filtering 技术,以在联合训练期间考虑神经网络中的反馈机制。该方法推导了神经元传入权重与其对应的下一层列之间的局部耦合,放大了跨层相关算子的奇异模式。在 CIFAR-10 上的实验表明,与原始的仅前向的 Neural LoFi 相比,这种后向耦合算法提高了准确性。
-
研究量化了循环 Transformer 中的梯度损失
一篇新的研究论文调查了截断反向传播对循环 Transformer 的影响,这是一种将单个层块重复使用多次的技术。该研究测量了仅通过最后 k 个循环反向传播所产生的梯度损失,发现损失的梯度集中在输出附近,并在微调过程中显著减少。研究还表明,用于估算训练成本的简单规则可能与直接测量梯度一样有效。
-
作者用代码验证反向传播笔记,解决了XOR问题
本文详细介绍了一个个人项目,作者将自己手写的反向传播笔记与NumPy代码实现进行了核对。代码成功地复制了笔记内容,并随后被用来解决XOR问题,克服了梯度消失的问题。作者的过程涉及将理论理解与实际编码进行比较,以确保准确性并解决特定的机器学习挑战。
-
大型语言模型(LLM)训练详解:反向传播与自监督学习
像Llama 3.1 8B这样的大型语言模型通过一个过程进行训练,模型预测文本序列中的下一个词元(token),然后根据预测中的错误调整其内部数字(权重)。这种调整由反向传播指导,这是一种计算每个权重对错误贡献多少的技术。这个过程根植于可追溯到20世纪70年代和80年代的概念,涉及数十亿个权重,并在海量文本上进行迭代,GPT-3的训练就是例证。
-
权重扰动在MNIST上接近反向传播的准确度
一篇新的研究论文探讨了权重扰动(WP)作为训练神经网络的反向传播(BP)替代方法的潜力。研究表明,在具有大批量大小的浅层网络配置中,WP可以在MNIST数据集上达到接近BP的准确度水平。然而,与BP相比,WP在效率上存在显著差距,需要更多的训练轮次才能达到可比的性能。虽然WP在稳定更深层网络方面显示出希望,但尚未在这些配置中达到BP级别的准确度。
-
仅前向的深度学习算法显示出混合的能源效率
一项新近发表在arXiv上的研究对仅前向的深度学习算法与传统反向传播进行了基准测试。研究发现,虽然像Forward-Forward和Cascaded Forward等一些仅前向的方法比反向传播的能源效率低,但Mono-Forward显示出潜力。在某些配置下,Mono-Forward使用的能源和内存少于反向传播,并且在更少的迭代次数下达到可比的测试准确率,尽管它需要更多的迭代次数和能源才能收敛。
-
新的ZOIF方法支持仅使用前向传播进行LLM数据选择
研究人员推出了一种新颖的框架ZOIF,用于估计大型语言模型(LLM)中的影响函数,该框架无需反向传播。该方法仅使用前向传播,显著降低了内存需求,并使LLM的数据选择更加可行。ZOIF将过程分解为三个阶段,包括使用零阶估计近似梯度以及通过优化求解逆Hessian-向量积,最终得出每个样本的影响得分。实验表明,ZOIF选择的数据子集具有与现有方法相当或更好的效用,同时消耗的峰值内存大大减少,计算时间相似。
-
深度学习与控制理论在新arXiv论文中融合
一篇新的arXiv论文探讨了深度学习与控制理论的交叉点,为理解神经网络架构和训练算法提供了新的视角。该论文详细介绍了如何将控制理论的概念应用于分析前馈网络、Transformer和大型语言模型。它强调了残差神经网络与连续时间控制系统之间的联系,并将Transformer离散化视为一种共识算法,表明大型语言模型表现出共识。此外,该研究调和了反向传播与最优控制之间的关系,弥合了离散时间和连续时间方法之间的差距。
-
探索本地化学习方法作为反向传播的替代方案
该讨论探讨了本地化神经学习方法相较于传统反向传播的潜在优势。关键问题围绕本地学习是否能在效率、适应性或可扩展性方面提供实际好处,尤其是在无监督学习和发现数据中潜在结构方面。对话还触及了诸如赫布学习和预测编码等替代方案的研究成熟度,以及它们是否适用于持续学习或在线学习场景。
-
本·阿弗莱克的编码见解给YouTube评论者留下深刻印象
一位YouTube评论者分享了一段本·阿弗莱克(Ben Affleck)谈论他编写Python代码方法的视频片段,其中包括对张量(tensors)及其与Transformer、反向传播和GPU计算相关性的解释。评论者认为阿弗莱克的见解尤其令人印象深刻,并将其比作一次“牛逼”的体验。
-
揭示新的无反向传播生成模型训练方法
研究人员开发了一种名为PotentialEP的新方法,该方法能够实现生成模型的无反向传播训练,这是模拟神经形态硬件的一项重大进展。该技术基于平衡传播,允许模型通过物理弛豫而非顺序计算进行采样,从而提高其在模拟基板上的效率。该方法在CIFAR-10和ImageNet-32数据集上实现了具有竞争力的图像生成质量,与反向传播结果相当,同时为更节能的AI提供了途径。
-
Dust 研究探索无需反向传播的 Transformer 预训练
一篇新的研究论文介绍了 Dust,一种无需依赖反向传播即可预训练 Transformer 模型的方法。该方法旨在探索大型语言模型的替代训练范式。研究结果为更有效或不同类型的模型训练提供了潜在途径。
-
新的“有效维度”度量量化学习性能因素
研究人员引入了“有效维度”,这是一种新颖的学习度量,旨在量化诸如构造性归纳、噪声过滤和背景知识等问题属性对平均情况学习性能的影响。这种新的度量可以经验性地估计并做出平均情况预测,旨在比 Vapnik-Chervonenkis (VC) 维度具有更广泛的适用性。该论文展示了有效维度在包括 Backpropagation 在内的各种学习系统中的效用,并精确预测了像 FRINGE 这样的特征构造系统的优势,表明这些优势随着目标概念复杂度的增加而减弱。
-
新的前向目标传播方法为反向传播提供了替代方案
研究人员推出了一种新颖的神经网络训练方法——前向目标传播(FTP),该方法绕过了传统反向传播算法。FTP 利用仅前向传播来局部分配误差信用,使其在生物学上更合理,并且对硬件更有效。初步评估表明,FTP 在 MNIST、CIFAR-10 和 CIFAR-100 等标准数据集上实现了具有竞争力的准确性,同时在低精度环境中也表现出卓越的性能,并具有在设备上进行节能学习的潜力。