最近在单个 L40S GPU 上进行的基准测试表明，vLLM 的前缀缓存功能可以显著提高 LLM 推理的吞吐量并降低延迟。当使用 4000 个 token 的系统提示符和 64 个并发用户进行测试时，启用前缀缓存可将输出吞吐量提高约 7.5 倍，并将 p99 首个 token 的时间从 23.9 秒缩短到 0.38 秒。基准测试还显示，前缀缓存最大限度地减少了较长系统提示符对性能的影响，在不同提示符长度下吞吐量几乎保持不变。 AI
影响 展示了 LLM 推理方面显著的性能提升，有可能降低运营成本并改善用户体验。
排序理由 详细说明 LLM 服务框架性能改进的基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
