Linear Recurrent Neural Networks

新研究详细介绍了输入相关性如何塑造线性循环神经网络中的记忆

一篇新发表在arXiv上的论文探讨了输入数据中的时间相关性如何影响线性循环神经网络（LRNN）中的记忆形成。研究表明，这些相关性会显著改变学习过程，导致网络对过去的记忆减少。一个关键发现是，记忆保留在由连续输入之间的相似性决定的阈值处关闭，而不是由序列长度或更长范围的相关性决定。研究还表明，当在相关数据上进行训练时，网络可以学会成为变化检测器，并且最佳配置包括一个用于当前输入的直通路径。