一位 r/LocalLLaMA 上的用户正在探索使用配备大量 PCIe 5 通道的服务器托管大型语言模型的潜力。该想法是利用 NVMe SSD 填充这些通道，创建一个高带宽存储解决方案，理论上可以提供与 VRAM 相媲美的速度来运行高达 1-2TB 的模型。用户质疑为什么这种方法在自托管海量模型方面不那么普遍。 AI
排序理由 用户生成关于 LLM 假设硬件配置的问题，缺乏具体数据或特定事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
用户探讨使用 NVMe SSD 通过 PCIe 5 托管大型模型
报道来源 [1]
-
愚蠢的问题：如果使用带有大约 80 条 PCIe 5 通道的二手服务器，并在其上安装 NVMe 来运行模型，性能会如何？
<!-- SC_OFF --><div class="md"><p>So for LLMs, VRAM speed is king.</p> <p>But what if you bought a used server which had, for example, 80 lanes of pcie 5 available, and you bifurcated that to hold 40 SSDs @ 2x lanes, with each NVMe doing 15Gbps, that means a mirror of 40 2TB driv…