一位 r/LocalLLaMA 子版块的用户正在寻求建议，询问是否应该用他们的 RTX 3080 和 RTX 3070 GPU 换取两块 NVIDIA P40 卡。主要关注点是优化运行本地大型语言模型的性能，特别是对于显存超过 10GB 的模型，尽管 P40 的 24GB 容量在较小模型上可能存在速度差异，但仍可能提供优势。用户还注意到混合 GPU 架构可能存在的问题，并正在为他们的特定用例（包括运行 Hermes 代理和测试新的大型模型）寻求最佳硬件配置的指导。 AI
排序理由 这是一个关于在消费者硬件子版块上优化本地 LLM 推理的用户查询，而不是重大的行业事件或发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →