循环 Transformer 的概念,即将 Transformer 层反复应用于同一序列,在有报道称 OpenAI 的 Astra 模型采用了该技术后引起了关注。这种方法旨在深化计算而不按比例增加模型参数,可能导致更有效的扩展。然而,人们对这类模型的解释性提出了担忧,因为循环性质可能会模糊中间推理步骤。阿里巴巴集团一直在积极研究该领域,其 MeSH 和 SpiralFormer 等论文解决了循环循环内的计算冗余和可变序列长度等挑战。 AI
影响 探索更高效的大语言模型扩展的新架构方法,并解决了解释性问题。
排序理由 文章讨论了循环 Transformer 的研究论文和技术方法,而不是前沿实验室的直接发布。[lever_c_demoted from research: ic=1 ai=1.0]
- Alibaba Group
- Astra
- Claude "Mythos"
- GPT-5.4
- GPT-6
- ICLR 2026
- Jakub Pachocki
- MeSH
- OpenAI
- Opus
- Pythia-1.4B
- Recurrent Transformers
- SpiralFormer
- The Information
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →