RNN Homunculus

RNN Homunculus 改进了循环神经网络的长期记忆

研究人员开发了一种名为“RNN Homunculus”的新方法，以提高循环神经网络（RNN）学习长距离依赖关系的能力。该方法侧重于RNN（如GRU和LSTM）内部门控机制的学习方式。研究发现，通过在训练数据中引入较短的依赖样本，门控RNN可以有效地学习捕捉长依赖样本并更好地泛化，甚至在特定分类任务上能媲美或超越Mamba和xLSTM等新架构的性能。