Recurrent Transformers

在 OpenAI 的 Astra 和阿里巴巴的研究推动下，循环 Transformer 获得关注

循环 Transformer 的概念，即将 Transformer 层反复应用于同一序列，在有报道称 OpenAI 的 Astra 模型采用了该技术后引起了关注。这种方法旨在深化计算而不按比例增加模型参数，可能导致更有效的扩展。然而，人们对这类模型的解释性提出了担忧，因为循环性质可能会模糊中间推理步骤。阿里巴巴集团一直在积极研究该领域，其 MeSH 和 SpiralFormer 等论文解决了循环循环内的计算冗余和可变序列长度等挑战。