backpropagation through time
PulseAugur coverage of backpropagation through time — every cluster mentioning backpropagation through time across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新型循环神经网络模型模仿大脑计算以实现工作记忆
研究人员介绍了一种新型人工神经网络模型——循环分裂归一化网络（RDNN），该模型受生物学分裂归一化的启发。该模型旨在克服传统循环神经网络（RNN）和连续吸引子网络在鲁棒地维护和更新连续变量方面的局限性，而这正是工作记忆的关键方面。RDNN的生物物理约束使其能够学习高保真慢流形，防止状态空间分裂成离散点。此外，网络在随时间反向传播（BPTT）过程中的梯度动力学导致其有效秩的自压缩，将动力学限制在低维子空间内，从而避免优化问题。
-
新型RNN利用Koopman算子理论绕过梯度下降
研究人员开发了基于Koopman的循环神经网络（RNN），它们可以绕过传统的基于梯度的训练方法，如时间反向传播。这种新颖的方法将随机特征网络与Koopman算子理论相结合，无需梯度即可构建所有RNN的权重和偏差。该方法在时间序列分析、混沌动力学系统和控制问题方面，已证明其预测精度与标准模型相当，但训练时间显著缩短。
-
新型统一复值神经网络整合连续和事件驱动学习
研究人员开发了一种新颖的统一复值神经网络（UCNN），它整合了连续值表示和事件驱动的时间处理。该新模型基于统一复值神经元（UCN），使用幅度编码信号强度，并使用相位控制时间演化和脉冲发射。UCNN框架支持通过反向传播和反向传播随时间进行训练，并提供了一种事件驱动的自适应相位学习规则，作为一种计算效率更高的替代方案。在目标跟踪和洛伦兹吸引子学习中的评估表明，UCNN在保持稀疏、事件驱动的计算（适用于神经形态和边缘AI应用）的同时，能够实…
-
新方法无需递归即可训练循环网络
研究人员开发了一种名为监督记忆训练（SMT）的新方法，可以在不依赖传统递归的情况下预训练循环神经网络（RNN）。SMT通过将过程简化为记忆转换上的监督学习来训练RNN，绕过了随时间反向传播的限制。这种方法实现了时间并行训练和稳定的梯度路径，有可能实现能够捕获长期依赖关系的更具可扩展性的RNN架构。
-
LSTM网络通过门控机制克服了RNN的记忆限制
长短期记忆（LSTM）网络是为了解决传统循环神经网络（RNN）在处理序列数据时存在的局限性而开发的。传统的RNN由于训练过程中梯度消失的问题，在长期记忆信息方面存在困难。LSTM引入了更复杂的内部结构和门控机制，使其能够选择性地记忆或遗忘信息，从而克服了RNN的局限性，提高了在语言建模和时间序列预测等任务上的性能。