layer splitting

用户在 PCIe 担忧下寻求关于 LLM 双 GPU 显存升级的建议

Reddit r/LocalLLaMA 版块的一名用户正在寻求关于在其系统中添加第二块 AMD 7900XTX GPU 以增加本地大型语言模型 (LLM) 推理的显存的建议。主要担忧是主板的 PCIe 通道配置可能造成的潜在性能瓶颈，特别是次要 GPU 的 PCIe 2.0 插槽，而 CPU 支持 PCIe 4.0。用户正在权衡升级主板至兼容 PCIe 4.0 型号的成本和收益，并询问这些 GPU 的张量并行（tensor paral…