研究人员介绍了一种新型人工神经网络模型——循环分裂归一化网络（RDNN），该模型受生物学分裂归一化的启发。该模型旨在克服传统循环神经网络（RNN）和连续吸引子网络在鲁棒地维护和更新连续变量方面的局限性，而这正是工作记忆的关键方面。RDNN的生物物理约束使其能够学习高保真慢流形，防止状态空间分裂成离散点。此外，网络在随时间反向传播（BPTT）过程中的梯度动力学导致其有效秩的自压缩，将动力学限制在低维子空间内，从而避免优化问题。 AI
影响 这项研究引入了一种受生物计算启发的、新颖的神经网络架构，有望提高人工智能在处理工作记忆等任务中的连续变量的能力。
排序理由 该集群描述了一个新颖的计算模型及其在arXiv研究论文中提出的分析。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
- arXiv
- Backpropagation Through Time
- gated recurrent unit
- long short-term memory
- Recurrent Divisive Normalization Network
- Recurrent Neural Networks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
