拓扑神经动力学框架将序列建模转向逐神经元动力学

提出了一种新的序列建模框架，称为拓扑神经动力学（TND），将计算从逐层动力学转移到逐神经元动力学。该方法将神经网络系统表示为有向神经元图，其中每个神经元独立演化，集体计算从通过显式图拓扑的交互中涌现。在对 Pong 行为克隆任务的案例研究中，TND 的表现优于 RNN、LSTM、CfC 和 Transformer 等基线模型，取得了显著更高的接球率。 AI

影响 这种逐神经元动力学方法可以为序列建模任务提供新的归纳偏置，有可能提高在复杂序列数据上的性能。

排序理由 该集群包含一篇详细介绍序列建模新框架的研究论文。[lever_c_research降级：ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Borui Cai
• Closed-form continuous-time neural network
• long short-term memory
• Pong
• recurrent neural network
• Sparse RNN
• Topological Neural Dynamics
• transformer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →