实体
Recurrent Divisive Normalization Network
Recurrent Divisive Normalization Network
PulseAugur coverage of Recurrent Divisive Normalization Network — every cluster mentioning Recurrent Divisive Normalization Network across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的RDNN模型使用分裂归一化实现连续工作记忆
研究人员引入了递归分裂归一化网络（RDNN），这是一种受生物分裂归一化启发的创新模型，旨在解决人工神经网络在连续工作记忆方面的局限性。与通常离散化状态空间的GRU和LSTM等传统RNN不同，RDNN可以学习稳健、高保真的慢流形以维持连续变量。该模型机制涉及通过时间反向传播过程中的活动依赖梯度缩放，有效压缩网络的秩并将动力学限制在低维子空间内，从而防止优化问题。这种生物物理约束被证明对于学习连续表示和防止动态输入下的流形破碎至关重要。
-
新型循环神经网络模型模仿大脑计算以实现工作记忆
研究人员介绍了一种新型人工神经网络模型——循环分裂归一化网络（RDNN），该模型受生物学分裂归一化的启发。该模型旨在克服传统循环神经网络（RNN）和连续吸引子网络在鲁棒地维护和更新连续变量方面的局限性，而这正是工作记忆的关键方面。RDNN的生物物理约束使其能够学习高保真慢流形，防止状态空间分裂成离散点。此外，网络在随时间反向传播（BPTT）过程中的梯度动力学导致其有效秩的自压缩，将动力学限制在低维子空间内，从而避免优化问题。