SemiAnalysis 报告称,GB300 NVL72 采用创新的铜背板和 NVLink,在代理推理方面比 NVIDIA 的 Hopper 架构实现了每美元 13 倍的性能提升。这种先进的设计实现了 72 个 GPU 的大规模扩展域,远大于 Hopper 的 8 个,从而能够实现 vLLM 的宽专家并行等优化。 AI
影响 这项硬件进步可以显著降低运行大型 AI 模型(尤其是在代理推理任务方面)的成本。
排序理由 该项目讨论了一种新的硬件架构及其性能优势,属于硬件能力研究范畴。[lever_c_从研究降级:ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →