Moonshot AI 发布了 Kimi K3,这是一款拥有 2.8 万亿参数的开源专家混合(MoE)模型。该模型采用了 Kimi Delta Attention 等架构创新,提高了扩展效率,并在长时程编码和代理工作流等复杂任务上表现出色。模型权重以 MXFP4 格式在 Hugging Face 上提供,并详细介绍了如何使用 Amazon SageMaker HyperPod 和 Amazon EKS 在 AWS 上进行部署,这需要 NVIDIA B300 Blackwell Ultra GPUs 等大量 GPU 资源。 AI
影响 为开源 MoE 模型树立了新的标杆,可能加速大规模 AI 的自托管和研究。
排序理由 前沿实验室模型发布,附带系统卡。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
在 AWS Machine Learning Blog 阅读 →
- Amazon Elastic Kubernetes Service
- Amazon SageMaker HyperPod
- AWS
- Gated Multi Head Latent Attention
- Hugging Face
- Kimi Delta Attention
- Kimi K3
- Mixture of Experts
- Moonshot AI
- MXFP4
- NVIDIA B300 Blackwell Ultra GPUs
- Stable LatentMoE
- vLLM
- Amazon EKS
- Kimi K2
- Mixture of Experts (MoE)
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →