一位用户正在寻求关于升级GPU配置的建议,以便使用llama.cpp在本地运行大型语言模型。他们正在考虑用一块RX 6800 16GB和一块RX 6800 XT 16GB(总计32GB显存)替换掉两块RTX 2060 12GB显卡(总计24GB显存)。用户担心在llama.cpp中,这种混合AMD配置在ROCm或Vulkan支持以及与当前CUDA配置相比的整体令牌生成速度方面会产生性能影响。 AI
影响 优化本地LLM推理性能的潜在硬件选择。
排序理由 用户关于在本地运行LLM硬件的咨询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →