使用 Ollama 和 vLLM 测试双 GPU 设置，结果显示在更强大的 RTX 3090 旁边添加一个旧款 Quadro P2000 并未增加上下文窗口。相反，旧款 GPU 导致 Ollama 的解码速度显著下降，并且被 vLLM 拒绝，因为它较低的计算能力与 AWQ 量化方法不兼容。这表明仅仅添加更多 GPU，尤其是旧款 GPU，并不能自动提升 LLM 的性能或上下文处理能力。 AI
影响 在 LLM 推理设置中添加旧款或不匹配的 GPU 会降低性能，并且不会扩展上下文窗口，这凸显了硬件兼容性的重要性。
排序理由 该条目详细说明了特定硬件配置在使用现有 LLM 推理引擎时的性能表现，而非新的发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
