研究人员推出了一种新颖的循环Transformer架构Loopie，旨在克服以往在扩展性方面的限制。Loopie系列包含两个混合专家（MoE）模型：一个拥有200亿参数（其中20亿为激活参数）的版本，以及一个拥有60亿参数（其中6亿为激活参数）的版本。消融研究表明，在同等计算预算下训练时，Loopie的性能显著优于传统的Transformer基线模型。此外，Loopie展现出强大的推理能力，在2025年国际数学奥林匹克竞赛和国际物理奥林匹克竞赛中，无需外部工具即可取得金牌级表现。 AI
影响 为循环Transformer的推理能力设定了新的基准，可能影响未来的模型开发。
排序理由 该集群描述了一篇详细介绍新型AI模型架构及其在学术竞赛中表现的研究论文。
在 Hugging Face Daily Papers 阅读 →
- 30B-A3B
- International Mathematical Olympiad
- International Physics Olympiad
- Loopie
- mixture of experts
- Transformer++
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
