Moonshot AI发布2.8T参数Kimi K3模型，支持1M上下文窗口

Moonshot AI发布了Kimi K3，这是一款拥有2.8万亿参数、具备Kimi Delta Attention和Attention Residuals的模型。该模型原生支持视觉理解，并拥有100万token的上下文窗口，是同等规模下首个开源模型。Kimi K3专为长篇编程、知识工作和复杂推理等高级应用而设计。 AI

影响 在上下文窗口和参数数量方面为开源模型设定了新的SOTA（State-of-the-Art），有望加速长上下文应用的研发。

排序理由 前沿实验室模型发布，附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 36氪 (36Kr) 阅读 →

• Attention Residuals
• Kimi Delta Attention
• Kimi K3
• Moonshot AI

• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →