据报道,英伟达已调整其即将推出的Rubin Ultra GPU的规格,将高带宽内存(HBM)从12堆叠(12-Hi)减少到8堆叠(8-Hi)。这一变化是由于认识到AI推理的主要瓶颈是每美元的带宽,而不是每美元的容量。通过减少HBM堆叠的数量,英伟达可以减少受供应限制的DRAM芯片,同时保持甚至提高带宽,从而提高对带宽密集型AI工作负载的成本效益。 AI
影响 英伟达Rubin Ultra GPU的HBM配置调整旨在优化AI推理的成本效益,而AI推理严重依赖于带宽。
排序理由 主要GPU的产品规格变更,影响AI推理成本。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →