最近在 24 GB NVIDIA A10 GPU 上进行的基准测试，将 Ollama 的 Q4_K_M 量化模型与使用 bfloat16 精度的 vLLM 模型进行了对比，测试对象为 Qwen2.5-7B-Instruct 模型。结果表明，在 1 到 16 个并发用户负载下，Ollama 在速度和每 token 成本效益方面均优于 vLLM。尽管 Ollama 的吞吐量更高，但在多个用户同时请求响应时，vLLM 在首次 token 响应时间方面仍略占优势。在 GSM8K 基准测试的准确性方面，Ollama 的 Q4_K_M 模型得分为 90.0%，略低于 vLLM 的 bfloat16 精度下的 91.2%。 AI
影响 Ollama 的效率可能会鼓励更广泛地采用单 GPU LLM 部署。
排序理由 两个 LLM 服务框架的基准测试对比。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
