实体 velox-inferer

velox-inferer

PulseAugur coverage of velox-inferer — every cluster mentioning velox-inferer across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_324221 · Oct 27 · 06:20

Qwen3.8 27B 在 RTX 5090 上的六种推理引擎基准测试

一项基准比较测试了在单块 RTX 5090 GPU 上的六种推理引擎——llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp。测试重点关注吞吐量、长提示词下的延迟、并发请求以及图像输入能力。NInfer 在推测解码和总体吞吐量方面表现领先，而 llama.cpp 显示出最高的纯解码速率。TensorSharp、SGLang 和 velox-inferer 在 DFlash2 …