Gated Recurrent Transformer

门控循环Transformer在深度和效率上优于标准模型

研究人员引入了一种名为门控循环Transformer的新架构，旨在提高Transformer模型的表达能力和内存效率。这种新设计跨越多层复用共享核心，并通过自适应更新门进行调制，从而无需大量独特参数即可实现专业化表示。在实验中，一个3层门控循环Transformer在相似的计算约束下达到了与12层GPT-2 Small模型相当的性能，展示了参数和内存使用量的显著减少。