FRE-RNN

受大脑启发的FRE-RNN使均衡传播在AI领域更具实用性

研究人员开发了一种新的循环神经网络架构，即反馈调节残差循环神经网络（FRE-RNN），旨在提高受大脑启发的计算中均衡传播（EP）的实用性。该模型结合了反馈调节以加速收敛，并利用残差连接来对抗梯度消失，在基准任务上取得了与反向传播相当的性能。这些进展显著降低了EP的计算成本和训练时间，使其更适用于大规模AI网络，并为物理神经网络中的原地学习提供了见解。