Glaive

新 LLM 引擎使 Qwen3.6 性能比 vLLM 提升高达 95%

一款新的大型语言模型（LLM）运行引擎在性能上展示了比 vLLM 显著的提升，尤其是在 Qwen3.6 模型上。基准测试显示，该引擎在单个 GPU 上可实现高达 95% 的输出量提升，与经过优化的 vLLM 设置相比，吞吐量增益范围在 1.5 倍到 1.95 倍之间。该引擎还能减少首次 token 的延迟，在突发流量场景下，中位数提升高达 8.56 倍。这些优化对于 Qwen3.6 等中型开源模型尤其有利，这些模型因其能力和硬件要求的…