RecurrentGPT

RecurrentGPT 引入循环调制以提高 Transformer 效率

研究人员推出了一种新颖的 Transformer 架构 RecurrentGPT，旨在增强大型语言模型在表达能力和内存效率方面的表现。该模型利用循环调制，允许共享核心迭代多次，从而减少了对大量独特层数的需要。在可比的计算限制下，RecurrentGPT 在准确性方面与显著更深的標準 Transformer 相当，同时在参数更少和内存使用量减少的情况下取得了有竞争力的结果。