Qwen 3.6 27B VLLM 基准测试显示 NVFP4 在令牌生成方面表现最佳，FP8 在预填充方面表现最佳

Reddit 的 r/LocalLLaMA 版块的一位用户分享了 Qwen 3.6 27B 模型使用 VLLM 的基准测试结果。测试比较了不同量化格式的性能：BF16、FP8 和 NVFP4。NVFP4 由于内存带宽需求降低，展示了最快的令牌生成速度，比 BF16 快约 2.6 倍。FP8 在提示处理和预填充速度方面表现优异，比 BF16 快约 20%，因为它利用 Tensor Core 加速来处理计算密集型任务。 AI

影响 为在本地运行大型语言模型时针对特定任务的最佳量化策略提供了见解。

排序理由 开源模型和推理框架的用户生成基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• Asus Proart Z890
• FP8
• Intel 270K plus
• NVFP4
• Qwen 3.6 27B
• RTX 6000 Pro Blackwell
• VLLM

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →