Moonshot AI已发布其Kimi K3.1 Pro模型的权重,该模型拥有2.8万亿参数。这个大型模型利用稀疏注意力机制和专家混合(mixture-of-experts)方法,使其在每次推理任务中仅激活1040亿参数。这种效率对于管理如此庞大AI的计算需求至关重要。 AI
影响 此次发布展示了在超大型模型中高效利用参数方面的进展,可能影响未来大规模AI的发展。
排序理由 前沿实验室模型发布,附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →