一位用户拥有配备四块NVIDIA 3090 GPU和96GB显存的服务器，正在寻求运行哪个AI模型的建议。他计划将服务器用作个人AI实验场，用于想法实现和原型开发，并可能支持少量额外用户。用户还考虑将两块GPU专门用于语音代理的语音和文档处理服务。 AI
排序理由 用户生成内容，询问在消费级硬件（4x 3090 GPU）上运行特定模型（Hermes）的建议。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
用户寻求为4x 3090 GPU配置推荐AI模型
报道来源 [1]
-
4x 3090，96gb 显存，Hermes 应该用什么模型？
<!-- SC_OFF --><div class="md"><p>3 year lurker, now i finally got my server up and running. dont know which model to choose. llama.cpp or vllm, what makes more sense? mainly single user with maybe 2-3 more additional users in family, if everything checks out. hermes is gonna be …