RTX 2060 OC 12GB

本地LLM用户权衡AMD GPU升级以提升llama.cpp性能

一位用户正在寻求关于升级GPU配置的建议，以便使用llama.cpp在本地运行大型语言模型。他们正在考虑用一块RX 6800 16GB和一块RX 6800 XT 16GB（总计32GB显存）替换掉两块RTX 2060 12GB显卡（总计24GB显存）。用户担心在llama.cpp中，这种混合AMD配置在ROCm或Vulkan支持以及与当前CUDA配置相比的整体令牌生成速度方面会产生性能影响。