OpenAI 即将推出的 GPT-6 Astra 模型中传闻使用了“循环深度”,这引起了人们对循环 Transformer 的关注。这种架构允许模型在参数不成比例增加的情况下实现更大的深度,方法是重复运行层。然而,这种方法面临计算冗余和潜在的监控困难等挑战,引发了人工智能安全专家之间的辩论。阿里巴巴集团一直在积极研究这些问题的解决方案,并发表了关于 MeSH 和 SpiralFormer 等方法的论文,这些方法旨在优化信息处理并减少循环架构中的计算开销。 AI
影响 强调了大型语言模型在架构上向更高效率转变的潜力,并促使对循环机制进行进一步研究。
排序理由 该集群讨论了未来模型(GPT-6 Astra)的传闻技术细节,并将其与另一家公司(阿里巴巴集团)的现有研究进行了对比,而不是报道官方发布或具体的最新进展。
在 Mastodon — mastodon.social 阅读 →
- Alibaba Group
- Astra
- Claude "Mythos"
- GPT-5.4
- GPT-6
- ICLR 2026
- Jakub Pachocki
- MeSH
- OpenAI
- Opus
- Pythia-1.4B
- Recurrent Transformers
- SpiralFormer
- The Information
- GPT-6 Astra
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →