Bojian Yin

选择性更新RNN在效率上匹配Transformer的准确性

研究人员开发了一种新型循环神经网络（RNN），称为选择性更新RNN（suRNNs），它可以高效地处理长序列建模。与在每个时间步都进行更新的传统RNN不同，suRNNs在神经元层面使用二进制开关来学习何时保留记忆，将更新与序列长度解耦。这使得它们能够在冗余区间内保持精确的过去信息，从而在Long Range Arena等基准测试中以更高的效率实现Transformer级别的准确性。