对 vLLM 的 KV 缓存进行技术深入分析，揭示内存而非计算是 GPU 上并发请求的主要瓶颈。KV 缓存存储每个 token 的注意力键值，它随序列长度线性增长，并且每个 token 需要大量内存。例如，使用 bfloat16 精度的 Llama 3.1 8B 每个 token 大约需要 128 KiB。在 24GB GPU 上，在扣除模型权重后，只有大约 5GB 可用于 KV 缓存，将并发请求限制在约 4 个，当每个请求使用大部分上下文窗口时。使用 FP8 精度或量化权重等优化可以显著减少内存使用量并增加并发请求的数量。 AI
影响 理解 KV 缓存限制对于优化消费级硬件上 LLM 推理性能和成本至关重要。
排序理由 对现有推理引擎的特定优化技术进行技术深入分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
