vLLM 推出了 PagedAttention，这是一种管理大型语言模型 (LLM) GPU 内存的新颖方法，可显著减少浪费。传统的 LLM 服务框架通常会为键值 (KV) 缓存过度分配 GPU 内存，导致效率低下。PagedAttention 受操作系统虚拟内存的启发，将 KV 缓存划分为更小的块，允许它们非连续地存储在 GPU 内存中。这种方法可以缓解过度配置、内部碎片化和外部碎片化造成的内存浪费，有可能节省 60-80% 的 KV 缓存内存。 AI
影响 优化 LLM 服务效率，可能降低运营成本并提高 AI 应用的吞吐量。
排序理由 该条目描述了 LLM 服务基础设施的技术优化，而不是新的模型发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
