RTX 6000 PRO Blackwell

Gemma-4 31B 模型在单个 RTX 6000 PRO GPU 上实现 1168 tokens/sec

一篇技术博客文章详细介绍了 Gemma-4 31B 模型在单个 RTX 6000 PRO Blackwell GPU 上使用 vLLM 运行时所达到的性能。该配置在大约 24 个并发请求下实现了约 1,168 tokens/sec 的峰值吞吐量，显示出显著的容量和余量。虽然中位数首次 token 时间保持在约 0.7 秒的快速水平，但在重负载下，尾部延迟（p99）增加到约 19 秒，突显了这是扩展的关键指标。