DeepSeek已开源其高性能推理引擎DeepInfer,该引擎旨在为其模型提供大规模生产服务的动力。此次发布包括优化的内核、对各种并行技术的支持,以及异步调度和批次不变推理等功能。DeepInfer兼容NVIDIA GPU和华为Ascend NPU,其构建受到了vLLM和TensorRT-LLM等框架的启发。 AI
影响 能够更有效地部署和扩展DeepSeek的大型语言模型以供生产使用。
排序理由 AI实验室开源推理引擎。
在 Mastodon — mastodon.social 阅读 →
- Ascend 950
- Cann
- CUDA
- DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy
- DeepSeek
- GNU Compiler Collection
- Hacker News
- Huawei
- Hugging Face
- Linux
- Nvidia
- Python
- TensorRT-LLM
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →