DeepSeek 已开源其 DeepInfer 引擎，这是一个为大规模 AI 模型部署设计的 Layer-2 系统，特别适用于 Mixture-of-Experts 和 Multi-head Latent Attention 模型。DeepInfer 于 10 月 20 日在 Apache 2.0 下发布，旨在通过异步流水线重叠和针对长上下文的优化缓存调度来最大化 GPU 利用率。它还包括一个基于 Rust 的分词器 deepseek-recipe，该分词器标准化了各种 API 协议并加快了分词速度。 AI
影响 为高效部署大型 AI 模型提供了基础设施，可能降低 AI 服务的运营成本。
排序理由 此次发布的是一个用于部署 AI 模型的开源引擎，而不是前沿模型发布或重大的行业性事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
