DeepSeek 发布了 DeepInfer,一个在 Apache 2.0 许可下的开源推理框架。该框架专为大规模推理而设计,并为 DeepSeek 的生产服务提供支持,开源版本侧重于离线推理。它支持 DeepSeek-V4.1-Flash 等模型,并提供优化内核、高级并行技术和结构化输出功能。DeepInfer 针对 NVIDIA GPU 和华为 Ascend NPU,需要特定的硬件和软件配置才能编译和运行。 AI
影响 为部署大型 AI 模型提供了一个新的开源工具,有可能提高开发者的效率和可访问性。
排序理由 AI 实验室发布开源推理框架。
在 Mastodon — mastodon.social 阅读 →
- Apache Software License 2.0
- CANN 9.2
- CUDA 13
- DeepGEMM
- DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy
- DeepSeek
- deepseek-recipe
- FlashMLA
- GitHub
- Huawei Ascend 950
- Hugging Face
- Linux
- Nvidia
- Python 3.12+
- SGLang
- TensorRT-LLM
- TileLang
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →