一位用户正在寻求建议,关于在现有的 7900 XTX 24GB 设置中添加第二块显卡 RX 6800 16GB 是否有利于在本地运行大型语言模型。他们特别关注 PCIe x2 连接的性能影响,以及与卸载到系统内存相比如何。用户想知道大约 40GB 显存可以运行哪些特定模型大小或量化级别,并正在寻找实际基准测试,尤其是在混合 AMD GPU 的情况下。 AI
影响 理解本地 LLM 部署的硬件限制和最佳配置。
排序理由 用户关于 AI 任务硬件配置的查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →