GLM-5.2 在 8x B200 GPU 上的部署倾向于使用 NVFP4 以获得最佳吞吐量

一项技术分析显示，在 8x NVIDIA B200 GPU 上部署 GLM-5.2 模型，使用四个 GPU 上的 NVFP4 精度比使用所有八个 GPU 上的 FP8 精度更有效。该配置的 FP8 设置模型权重约占 459 GB，并为 KV 缓存留有充足空间，吞吐量几乎是 FP8 设置的两倍。分析表明，对于中等并发，模型的性能受内存带宽限制，因此 NVFP4 是最大化每秒每美元代币的更有效选择。 AI

影响 优化推理硬件配置可以显著降低大型语言模型的成本并提高其性能。

排序理由 模型部署和硬件配置的技术分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• EAGLE MTP
• FP8
• GLM-5
• GLM-5.2
• HBM3e
• NVFP4
• NVIDIA B200
• NVLink 5
• SGLang v0.5.12

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →