Reddit 的 r/LocalLLaMA 社区的一位用户正在寻求关于在配备 R9700s 显卡的多 GPU 设置上优化 DSV4F 模型性能的建议。该用户正在开发一个受现有工作启发的 Rust 自定义推理引擎，并正在尝试诸如自定义量化和将不常用模型组件卸载到系统 RAM 等技术，以缓解 GPU 带宽限制。他们目前的设置包括两块 R9700s 显卡、一颗 Ryzen 5 9600x CPU 和 128GB DDR5 RAM，其中一块 GPU 存在 PCIe 4 x4 瓶颈。 AI
影响 这次讨论为在消费级硬件上运行大型语言模型的实际挑战和潜在解决方案提供了见解，对于构建自定义 AI 推理系统的个人具有参考价值。
排序理由 用户生成内容，讨论针对特定模型的现有硬件和软件优化。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
