Julien Siems

线性 RNN 通过将状态跟踪任务转换为代码，在这些任务中显示出潜力

研究人员开发了一种将置换组合任务转换为代码的方法，使线性 RNN 在 Transformer 以前难以处理的任务上表现出色。该方法解决了状态跟踪任务与常用于语言模型的下一个词预测训练不兼容的问题。该研究还探讨了在动作不完全可观察的情况下，在代码中跟踪状态的固有难度，将其视为一个概率有限状态自动机问题，而线性 RNN 在此问题上可能不如非线性 RNN。