一位用户在 r/LocalLLaMA 子版块上寻求关于在预算有限的情况下购买硬件以运行大型语言模型的建议。他们正在考虑购买一张拥有 32GB 显存的 Radeon VII，或者两张提供总计 48GB 显存的 P100 GPU，两者价格相似。用户正在权衡更多显存和更快推理速度之间的取舍，特别是询问更高的显存对于 Q8 量化的专家混合（MoE）模型是否有用，并寻求其他合适的 MoE 模型推荐。 AI
排序理由 消费者硬件论坛上的用户生成内容，讨论个人预算选择以运行开源模型。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →