Moonshot AI 开发了 Kimi K3,这是一个拥有 3 万亿参数的开源模型,使其成为同类模型中最大的。其创新不仅在于规模,还在于一种名为 Kimi Delta Attention (KDA) 的新颖内存管理系统。KDA 利用“Delta Rule”就地更新内存,显著降低了与长上下文窗口相关的计算成本,这与传统 Transformer 模型随着上下文长度线性增加内存和二次方增加计算量不同。这种方法最初在较小的 Kimi Linear 模型中进行了测试,现在已扩展到 Kimi K3,旨在挑战领先的专有模型。 AI
影响 为开源模型树立了新的标杆,并引入了一种新颖的内存架构,可以显著降低长上下文窗口的训练和推理成本。
排序理由 前沿实验室模型发布,附带系统卡。[lever_c 从 frontier_release 降级:ic=2 ai=1.0]
- Claude Fable
- GPT-5.6
- Kimi K3.1
- Moonshot AI
- Delta Rule
- Kimi Delta Attention (KDA)
- Kimi K1.5
- Kimi K2
- Kimi K2.5
- Kimi K3
- Kimi Linear
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →