Key-Value (KV) cache

vLLM 的 PagedAttention 优化 LLM GPU 内存使用

vLLM 推出了 PagedAttention，这是一种管理大型语言模型 (LLM) GPU 内存的新颖方法，可显著减少浪费。传统的 LLM 服务框架通常会为键值 (KV) 缓存过度分配 GPU 内存，导致效率低下。PagedAttention 受操作系统虚拟内存的启发，将 KV 缓存划分为更小的块，允许它们非连续地存储在 GPU 内存中。这种方法可以缓解过度配置、内部碎片化和外部碎片化造成的内存浪费，有可能节省 60-80% 的 K…