Yineng Zhang

DeepSeek v3 引领开源模型，Baseten 实现任务关键型推理

DeepSeek v3 是一款新的 6710 亿参数的混合专家模型，现已发布，是目前性能最佳的开源模型。服务如此大的模型带来了巨大的挑战，但推理初创公司 Baseten 已成功部署了 DeepSeek v3，使用了 NVIDIA H200 GPU 和 SGLang 框架。此次部署强调了大规模运行任务关键型 AI 推理的关键因素，包括模型性能、高效的服务基础设施和强大的编排能力。