Noise-modulated Neural Network

新方法仅使用前向波动重建反向传播

研究人员开发了一种仅使用前向传递统计数据在噪声调制神经网络 (NNNs) 中重建反向传播算法的方法。该方法通过避免转置权重和反向数据路径，解决了传统反向传播在生物学和神经形态学上的不可能性。所提出的技术利用权重镜像从单元协方差估计权重矩阵，并在单元内进行局部微分估计以递归传播误差。当与局部 Adam 更新相结合时，这种仅前向的替代方法在回归任务上实现了与标准反向传播相当的准确性，并且其设计非常适合数字电路。