DeepSeek 已开源其生产推理引擎 DeepInfer,该引擎为其大规模服务提供动力。发布的代码包括一个重要的调度器、MoE 专家并行负载均衡、推测解码和一个评估工具。然而,像 KV 缓存系统和跨数据并行副本的负载均衡等与 DeepSeek 内部基础设施紧密耦合的关键组件未包含在此次发布中。该引擎目前仅支持 DeepSeek-V4.1-Flash 模型和特定的 NVIDIA SM100 GPU 或华为昇腾 950 NPU。 AI
影响 为特定硬件提供生产级推理引擎,可能提高 DeepSeek 模型部署的效率。
排序理由 知名 AI 实验室发布生产推理引擎的开源版本。[lever_c_demoted from research: ic=1 ai=1.0]
- Ascend 950
- CANN
- CUDA
- DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy
- DeepSeek
- Hacker News
- Huawei
- NVIDIA
- Python
- SGLang
- SM100
- TensorRT-LLM
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →