Intel 270K plus

Qwen 3.6 27B VLLM 基准测试显示 NVFP4 在令牌生成方面表现最佳，FP8 在预填充方面表现最佳

Reddit 的 r/LocalLLaMA 版块的一位用户分享了 Qwen 3.6 27B 模型使用 VLLM 的基准测试结果。测试比较了不同量化格式的性能：BF16、FP8 和 NVFP4。NVFP4 由于内存带宽需求降低，展示了最快的令牌生成速度，比 BF16 快约 2.6 倍。FP8 在提示处理和预填充速度方面表现优异，比 BF16 快约 20%，因为它利用 Tensor Core 加速来处理计算密集型任务。