RX 6800

为本地 LLM 推理寻求预算 GPU 建议

一位用户在 r/LocalLLaMA 子版块上寻求关于在预算有限的情况下购买硬件以运行大型语言模型的建议。他们正在考虑购买一张拥有 32GB 显存的 Radeon VII，或者两张提供总计 48GB 显存的 P100 GPU，两者价格相似。用户正在权衡更多显存和更快推理速度之间的取舍，特别是询问更高的显存对于 Q8 量化的专家混合（MoE）模型是否有用，并寻求其他合适的 MoE 模型推荐。