SemiAnalysis 报道称,NVIDIA 的 SGLang 推理引擎在使用 Rubin NVL72 GPU 时,相比 GB300 NVL72 展现出显著的性能和成本优势。SGLang 引擎与 Qwen3.8 Flash Next 180B 模型集成,与前代产品相比,每美元性能提高了 4.23 倍。这一进步通过在较小模型上的预览提交得到突出,预计未来提交中将包含 GLM5.3 系列等更大模型。 AI
影响 推理性能和成本效益的这一进步可能会加速大型语言模型的部署并降低其运营成本。
排序理由 该集群报告了 NVIDIA 推理硬件和软件堆栈的显著性能和成本改进,这是人工智能基础设施中的一项值得注意的发展。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →