Moonshot的Kimi K3模型通过发布一个开源的2.8万亿参数模型，取得了重大里程碑，这一壮举此前仅在闭源系统中出现。尽管与OpenAI和Google等大型竞争对手相比面临资源限制，Moonshot通过Kimi Delta Attention (KDA)和AttnRes (Attention Residuals)等架构变革进行了创新。KDA优化了注意力机制，以降低长上下文的计算成本，而AttnRes通过学习如何选择性地整合来自前一层的信息来提高训练效率。这些进步使Kimi K3能够处理极长的上下文并更有效地进行训练，展示了在智能设计而非纯粹规模上的战略重点。 AI
影响 为开源模型的规模和长上下文能力设定了新的基准，有可能加速整个行业的研发。
排序理由 知名AI实验室（Moonshot）发布大规模前沿模型（2.8T参数）的开源版本。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
