Moonshot AI 发布了其 Kimi K3.1 Pro 模型的权重,这是一个大型混合专家(MoE)架构,拥有 2.8 万亿总参数和 100 万 token 的上下文窗口。虽然开放权重发布为自托管提供了可能性,但文章详细介绍了其中涉及的巨大基础设施成本,包括大量的 GPU 内存需求和复杂的部署考虑。分析强调,总拥有成本不仅包括硬件购买,还包括网络、存储、电力和运营,这表明对于许多开发者和初创公司来说,使用 API 可能仍然更经济。 AI
影响 强调了自托管大型开放权重模型所需的基础设施成本和复杂性,可能指导部署决策。
排序理由 知名实验室发布的大型前沿模型的开放权重版本。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →