deepseek-recipe
PulseAugur coverage of deepseek-recipe — every cluster mentioning deepseek-recipe across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
DeepInfer 与 vLLM：在 B200 GPU 上进行推理速度基准测试
DeepSeek 开发的新开源推理框架 DeepInfer 已在八个 NVIDIA B200 GPU 上与 vLLM 进行了基准测试。此次集成由 GPUStack 和一个名为 DeepInfer-server 的轻量级服务项目促进，旨在评估实际部署性能。在使用 DeepSeek-V4.1-Flash 模型进行的测试中，DeepInfer-server 报告了更高的输出吞吐量和更低的 token 间延迟，而 vLLM 在首 token …
-
DeepSeek 发布开源 DeepInfer 引擎，用于大规模 AI 部署
DeepSeek 已开源其 DeepInfer 引擎，这是一个为大规模 AI 模型部署设计的 Layer-2 系统，特别适用于 Mixture-of-Experts 和 Multi-head Latent Attention 模型。DeepInfer 于 10 月 20 日在 Apache 2.0 下发布，旨在通过异步流水线重叠和针对长上下文的优化缓存调度来最大化 GPU 利用率。它还包括一个基于 Rust 的分词器 deepseek…
-
DeepSeek 发布用于数据中心的 DeepInfer 推理引擎
DeepSeek 已开源 DeepInfer，这是一款专为大规模、多 GPU 数据中心部署设计的推理引擎，而非用户友好的桌面应用程序。此次发布包括 DeepInfer 引擎本身，它通过异步流水线重叠和投机解码等功能进行了优化以提高效率；一个名为 SWA Bounded Replay 的缓存方案，用于降低预填充计算成本；以及 deepseek-recipe，一个用于协议规范化和分词的 Rust 组件。该基础设施旨在将数据中心硬件推向极限…