研究人员引入了递归分裂归一化网络(RDNN),这是一种受生物分裂归一化启发的创新模型,旨在解决人工神经网络在连续工作记忆方面的局限性。与通常离散化状态空间的GRU和LSTM等传统RNN不同,RDNN可以学习稳健、高保真的慢流形以维持连续变量。该模型机制涉及通过时间反向传播过程中的活动依赖梯度缩放,有效压缩网络的秩并将动力学限制在低维子空间内,从而防止优化问题。这种生物物理约束被证明对于学习连续表示和防止动态输入下的流形破碎至关重要。 AI
影响 引入了一种受生物计算启发的创新神经网络架构,有望提高AI系统中连续记忆的稳定性和保真度。
排序理由 介绍新模型和分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- backpropagation through time
- Continuous working memory
- GRUs
- Recurrent Divisive Normalization Network
- Zhaotian Gu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →