DeepSeek 已开源其内部推理框架 DeepInfer,该框架用于为其包括 DeepSeek-V4.1-Flash 模型在内的生产服务提供支持。该框架以 Apache 2.0 许可证发布,专注于离线推理,并基于 vLLM 构建,增加了优化和自定义内核。值得注意的是,DeepInfer 在发布之初就同时支持 NVIDIA GPU 和华为 Ascend NPU,这在高性推理引擎中很少见。 AI
影响 提供了一个生产就绪的推理引擎,支持双重硬件,可能简化特定模型的部署。
排序理由 推理引擎的开源发布,而非新的前沿模型或核心研究。
- Apache Software License 2.0
- DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy
- DeepSeek
- GitHub
- Huawei Ascend 950
- Hugging Face
- Nvidia
- Seph Martin
- SGLang
- TensorRT-LLM
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →