Intel B60

RTX Pro 4500 对比 A100 GPU 用于 LLM 服务器构建

一位用户正在寻求关于构建本地大型语言模型 (LLM) 推理服务器的建议，具体是在购买四块 RTX Pro 4500 GPU 还是四块二手 40GB A100 GPU 之间进行权衡。RTX Pro 4500 方案需要 PCIe 交换机，增加了复杂性，而 A100 则需要 NVLink 桥接适配器，并存在从 eBay 购买到故障硬件的风险。由于之前购买的 Intel B60 卡因不适合扩展而有退货截止日期，用户急于做出决定。