SemiAnalysis 的一项性能分析表明,NVIDIA 的 Blackwell GPU 在运行 SGLang Qwen3.5 397B 模型时出现显著的 61% 性能回归,原因是机密计算不支持 NVLink 组播。此问题特别影响了在多个 GPU 之间有效分配计算的能力,从而阻碍了大型语言模型的性能。 AI
影响 这一硬件限制可能会减缓大型语言模型在下一代 NVIDIA 硬件上的部署和效率。
排序理由 对特定模型上硬件性能回归的分析。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →