DeepSeek 已开源 DeepInfer,这是为其包括 DeepSeek-V4.1-Flash 模型在内的生产服务提供支持的推理框架。该工具包在 Apache 2.0 许可下发布,提供了对前沿实验室服务堆栈的难得一瞥,并包含 FlashMLA 和 DSpark 等组件以优化性能。DeepInfer 支持 NVIDIA SM100 和 Huawei Ascend 950 硬件,展示了高吞吐率,尤其是在解码操作方面。 AI
影响 为开发者提供了对前沿 AI 实验室生产服务堆栈的难得一瞥,可能提高推理效率。
排序理由 AI 实验室开源推理框架。[lever_c_demoted from research: ic=1 ai=1.0]
- Apache Software License 2.0
- Ascend 950
- DeepSeek
- deepseek-recipe
- Huawei
- MIT
- Nvidia
- SGLang
- SM100
- TensorRT-LLM
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →