MReza Ebrahimi

与RNN相比，Transformer模型在状态跟踪和数据效率方面存在困难

一篇新发表在arXiv上的研究论文探讨了基于Transformer的语言模型在状态跟踪方面的局限性，状态跟踪是理解序列数据的关键方面。研究表明，与循环神经网络（RNN）相比，Transformer需要显著更多的数据进行训练才能达到相似的性能，尤其是在状态空间大小和序列长度增加的情况下。此外，Transformer在不同序列长度上的权重共享表现不佳，表明它们孤立地学习特定长度的解决方案，而RNN则表现出有效的摊销学习。