PulseAugur
实时 13:59:19
English(EN) Reconstructing Backpropagation from Forward Fluctuations in Noise-modulated Neural Networks

新方法仅使用前向波动重建反向传播

研究人员开发了一种仅使用前向传递统计数据在噪声调制神经网络 (NNNs) 中重建反向传播算法的方法。该方法通过避免转置权重和反向数据路径,解决了传统反向传播在生物学和神经形态学上的不可能性。所提出的技术利用权重镜像从单元协方差估计权重矩阵,并在单元内进行局部微分估计以递归传播误差。当与局部 Adam 更新相结合时,这种仅前向的替代方法在回归任务上实现了与标准反向传播相当的准确性,并且其设计非常适合数字电路。 AI

影响 这项研究可能带来更具生物学合理性和硬件效率的神经网络训练方法。

排序理由 详细介绍神经网络新算法方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法仅使用前向波动重建反向传播

报道来源 [1]

  1. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Shuhei Ikemoto ·

    从噪声调制神经网络的前向波动中重建反向传播

    A Noise-modulated Neural Network (NNN) learns and infers only in the presence of noise, treating noise as a computational resource rather than a disturbance. The noise lets it learn efficiently by backpropagation while transmitting spike-like signals, but backpropagation needs a …