EISep RNN

新的RNN架构整合了生物学约束以实现稳定训练

研究人员开发了一种新的循环神经网络架构，称为EISep RNN，该架构成功地整合了Dale原理——一种神经元仅为兴奋性或抑制性的生物学约束。先前在人工神经网络中实现此原理的尝试常常导致训练困难或性能下降。然而，EISep RNN在多任务、持续学习和强化学习等各种学习任务中，表现出更稳定的训练、相当或更好的结果，以及更模块化的连接性。这项工作表明，Dale原理可以作为循环神经网络的有效归纳偏置。