Reddit r/LocalLLaMA 版块的一名用户正在寻求关于在其系统中添加第二块 AMD 7900XTX GPU 以增加本地大型语言模型 (LLM) 推理的显存的建议。主要担忧是主板的 PCIe 通道配置可能造成的潜在性能瓶颈，特别是次要 GPU 的 PCIe 2.0 插槽，而 CPU 支持 PCIe 4.0。用户正在权衡升级主板至兼容 PCIe 4.0 型号的成本和收益，并询问这些 GPU 的张量并行（tensor parallelism）的有效性以及 PCIe 2.0 是否会成为层拆分（layer splitting）的重大问题。 AI
影响 考虑用于本地 LLM 推理的多 GPU 设置的用户需要仔细评估 PCIe 带宽限制。
排序理由 用户关于 AI 推理硬件配置的查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
