Reddit r/LocalLLaMA 版块的一位用户正在寻求关于优化其本地运行大型语言模型硬件设置的建议。他们正在考虑两种主要方案：一是将一张新的 AMD Radeon PRO v620 32GB 显卡添加到他们现有的游戏主机中，该主机目前配备了一张 24GB 显存的 7900XTX；二是将新显卡安装到另一台独立的 mini ITX 系统中。用户正在权衡在单个系统中增加总显存以获得更好的模型量化效果，与通过 PCIe 总线将工作负载分配到两张显卡上可能带来的性能影响。他们还对混合使用不同品牌和配置的 GPU 进行 AI 推理的可行性和性能影响感到好奇。 AI
影响 优化本地硬件设置可以提高运行大型语言模型的可用性和性能。
排序理由 用户寻求关于本地大型语言模型推理硬件配置的建议。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
