CUDA Stream

DeepSeek 发布 DeepInfer 推理引擎，优化大规模 AI 部署

DeepSeek 已开源 DeepInfer，这是一款旨在优化大规模模型部署的新型推理引擎。该引擎集成了零开销批处理调度器、异步批处理、自定义内核和推测解码等先进技术。该系统旨在通过将 CPU 调度任务与 GPU 计算重叠，最大限度地减少 GPU 的空闲时间，从而提高整体效率。DeepInfer 还解决了异步步骤之间状态管理、内存生命周期管理以及大型专家混合（MoE）模型执行协调等方面的挑战。