Fireworks AI 开发了新的训练基础设施，能够微调万亿参数的混合专家（MoE）模型，克服了之前的内存和编排瓶颈。该平台在最近发布的 Cursor Composer 2.5 中发挥了关键作用，Composer 2.5 是一个在多个基准测试中取得顶尖性能的编码模型。该系统利用低精度专家量化和优化器状态卸载等技术来管理大型 MoE 模型内存需求，使其更容易进行训练和微调。 AI
影响 能够训练万亿参数的 MoE 模型，可能加速更强大的前沿模型的开发。
排序理由 Fireworks AI 的博客文章详细介绍了其训练大型 MoE 模型的基础设施，该基础设施被用于训练 Cursor Composer 2.5。
- Composer 2
- Cursor
- Fireworks AI
- Kimi K2.5
- Mixture-of-Experts (MoE) models
- Qwen3-30B
- Composer 2.5
- CursorBench
- Mixture-of-Experts (MoE)
- SWE-bench Multilingual
- Terminal-Bench
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
