Continuous working memory

新的RDNN模型使用分裂归一化实现连续工作记忆

研究人员引入了递归分裂归一化网络（RDNN），这是一种受生物分裂归一化启发的创新模型，旨在解决人工神经网络在连续工作记忆方面的局限性。与通常离散化状态空间的GRU和LSTM等传统RNN不同，RDNN可以学习稳健、高保真的慢流形以维持连续变量。该模型机制涉及通过时间反向传播过程中的活动依赖梯度缩放，有效压缩网络的秩并将动力学限制在低维子空间内，从而防止优化问题。这种生物物理约束被证明对于学习连续表示和防止动态输入下的流形破碎至关重要。