Biostar Z890 Valkyrie

双 GPU LLM 推理：PCIe 5.0 x8/x4 与 x8/x8 的速度影响

一位 Reddit 用户正在询问 PCIe 通道配置对大型语言模型 (LLM) 双 GPU 推理速度的潜在影响。具体来说，他们担心在将模型完全加载到 VRAM 或需要部分卸载时，运行两个 GPU 的 x8/x8 配置与 x8/x4 配置之间的性能差异。该用户正在考虑添加一张 SATA 扩展卡，这将需要 x8/x4 设置。