SGLang v0.5.12

GLM-5.2 在 8x B200 GPU 上的部署倾向于使用 NVFP4 以获得最佳吞吐量

一项技术分析显示，在 8x NVIDIA B200 GPU 上部署 GLM-5.2 模型，使用四个 GPU 上的 NVFP4 精度比使用所有八个 GPU 上的 FP8 精度更有效。该配置的 FP8 设置模型权重约占 459 GB，并为 KV 缓存留有充足空间，吞吐量几乎是 FP8 设置的两倍。分析表明，对于中等并发，模型的性能受内存带宽限制，因此 NVFP4 是最大化每秒每美元代币的更有效选择。