DeepSeek 已根据 Apache 2.0 许可证开源了其生产推理堆栈 DeepInfer。该工具包专为支持大规模服务而设计,特别是为其 DeepSeek-V4.1-Flash 模型,并支持 NVIDIA 和 Huawei Ascend 硬件。主要功能包括具有置信度调度验证的推测解码、异步调度以及通过正则表达式或 JSON 模式生成结构化输出。 AI
影响 使开发人员能够利用大型语言模型的先进推理技术,从而可能提高生产部署的效率和性能。
排序理由 该项目描述了一个推理堆栈的开源,这是一个研究产物和基础设施组件,而不是一个新的模型发布或产品发布。[lever_c_demoted from research: ic=1 ai=1.0]
- Apache Software License 2.0
- CANN 9.2
- CUDA 13
- DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy
- DeepSeek
- deepseek-ai/DeepSeek-V4.1-Flash-1017
- extended Backus–Naur form
- GitHub
- GPQA: A Graduate-Level Google-Proof Q&A Benchmark
- Huawei
- Hugging Face
- Linux
- Nvidia
- Python 3.12+
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →