美团开发了LongCat-2.0,一个拥有1.6万亿参数的语言模型,完全在中国国产AI芯片上训练,避免使用英伟达硬件。该模型的效率源于其混合专家(MoE)架构,每个token仅使用3%的参数。这种设计显著降低了每步的工作负载和网络流量,使其能够在性能较低的非英伟达加速器上进行训练。 AI
影响 通过优化参数利用率,展示了在无顶级加速器的情况下训练大型模型的可能性。
排序理由 前沿实验室模型发布,附带系统卡。[lever_c 从 frontier_release 降级:ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →