实体 DeepInfer-server

DeepInfer-server

PulseAugur coverage of DeepInfer-server — every cluster mentioning DeepInfer-server across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_315615 · Oct 22 · 07:21

DeepInfer 与 vLLM：在 B200 GPU 上进行推理速度基准测试

DeepSeek 开发的新开源推理框架 DeepInfer 已在八个 NVIDIA B200 GPU 上与 vLLM 进行了基准测试。此次集成由 GPUStack 和一个名为 DeepInfer-server 的轻量级服务项目促进，旨在评估实际部署性能。在使用 DeepSeek-V4.1-Flash 模型进行的测试中，DeepInfer-server 报告了更高的输出吞吐量和更低的 token 间延迟，而 vLLM 在首 token …