一位用户正在寻求关于构建本地大型语言模型 (LLM) 推理服务器的建议，具体是在购买四块 RTX Pro 4500 GPU 还是四块二手 40GB A100 GPU 之间进行权衡。RTX Pro 4500 方案需要 PCIe 交换机，增加了复杂性，而 A100 则需要 NVLink 桥接适配器，并存在从 eBay 购买到故障硬件的风险。由于之前购买的 Intel B60 卡因不适合扩展而有退货截止日期，用户急于做出决定。 AI
影响 构建本地 LLM 推理服务器的用户在消费级和数据中心级 GPU 之间面临复杂的硬件选择。
排序理由 用户寻求关于 LLM 推理硬件购买的建议。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
