PagedAttention
PulseAugur coverage of PagedAttention — every cluster mentioning PagedAttention across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
vLLM 服务基准测试详解,助力高效多用户 LLM 部署
vLLM 是一个开源服务器,旨在高效地在 GPU 上为多用户同时运行大型语言模型,是 LLM 服务面试中的一个关键话题。该技术利用 PagedAttention 和连续批处理来优化 GPU 内存使用和吞吐量。在 RTX 4090 上使用 Qwen3 0.6B 模型进行的基准测试表明,vLLM 可以同时服务 64 个用户,总吞吐量达到每秒 12,087 个 token,而每个用户的延迟与单用户操作相比仅略有增加。
-
SGLang 与 vLLM:深入探讨 LLM 服务引擎的关键区别
文章比较了两个流行的开源 LLM 服务引擎 SGLang 和 vLLM,重点介绍了它们共享的核心思想,如连续批处理和 PagedAttention。主要区别在于它们如何重用先前处理过的提示片段:vLLM 使用页面标签链,而 SGLang 采用基数树结构。作者指出,虽然两者都与 OpenAI API 兼容,但在服务器端切换它们可能需要代码调整。比较基于 vLLM 在 RTX 4090 上的性能,SGLang 的性能则根据其项目文档进行描述。
-
vLLM 引擎通过 PagedAttention 提升 LLM 服务效率
vLLM 是一个开源引擎,旨在高效地服务大型语言模型,与传统的 Transformers 相比,速度有了显著提升。其核心创新 PagedAttention 优化了 KV 缓存内存管理,允许更大的并发请求批次,并减少了内存浪费。这种效率使得 vLLM 适用于需要高吞吐量的应用,例如聊天后端和代理循环,并且它支持广泛的模型和硬件配置。
-
vLLM 前缀缓存因单个 token 更改而失效
vLLM 的前缀缓存机制最近出现了一个问题,当系统提示中添加了一个时间戳后,缓存命中率从 89% 急剧下降到 3%。这是因为 vLLM 的自动前缀缓存 (APC) 需要精确的 token 前缀匹配才能重用 KV 缓存块。vLLM 使用的哈希链意味着,即使是单个更改的 token(如时间戳)也会使所有后续块失效。为缓解此问题,建议将指令和工具模式等静态内容放在提示的开头,然后是动态内容,并且仅在必要的粒度上使用基于时间的信息。
-
NVIDIA NIXL 和 LMCache 通过 Disaggregated Prefill-Decode 降低 LLM 延迟
一种名为 Disaggregated Prefill-Decode 的新技术,利用 NVIDIA 的 NIXL 和 LMCache,显著提高了 LLM 推理性能,尤其是在长上下文任务中。该方法将计算密集型的 prefill 阶段与内存带宽受限的 decode 阶段分离到不同的 GPU 池中。通过使用 NIXL 和 GPUDirect RDMA 在高速网络上进行通信,它能够直接在 GPU 之间异步流式传输 KV 缓存数据,从而大大降低延…
-
llama.cpp 配置实现企业级稳定性和多用户访问
开源推理引擎 llama.cpp,最初由 Georgi Gerganov 开发,现由 ggml-org 管理,被呈现为企业环境中 vLLM 等引擎的稳定且强大的替代方案。该指南详细介绍了如何为多用户生产环境配置 llama.cpp,强调其稳定性、高效的队列管理以及 OpenAI API 兼容性,尽管其最初设计用于本地使用。实用建议包括禁用提示缓存并利用 LiteLLM 进行架构集成。
-
用户寻求在 r/MachineLearning 上分享个人LLM实验
r/MachineLearning 版块的一名用户正在寻求许可,以分享他们从头开始构建和训练小型LLM的个人实验和博客文章。该用户已经记录了Transformer模型的构建及其训练过程,并计划涵盖KV缓存和PagedAttention等主题。他们强调,他们的意图纯粹是为了学习、实验和获得反馈,而不是任何推广目的。
-
KV缓存,而非权重,限制了LLM服务器的用户容量
KV缓存,而不是模型权重,是决定LLM服务器支持多少用户的主要因素。虽然LLaMA-2 7B模型的模型权重占用13.5 GB,但一个4096个token序列的KV缓存可能消耗0.5 MiB,并且随着上下文长度和用户数量的增加而迅速增加。多查询注意力、分组查询注意力、缓存量化、滑动窗口和PagedAttention等技术被用来减少KV缓存的内存占用,从而提高服务器吞吐量。
-
vLLM & TGI 指南:在多 GPU 节点上扩展量化大模型
本指南详细介绍了在企业规模下部署量化开源大语言模型 (LLM) 的生产级流程。它侧重于在多 GPU 节点上使用 vLLM 和 Text Generation Inference (TGI),结合张量并行和分页注意力 KV 缓存,特别强调了 NVIDIA H100 GPU。指南涵盖了 AWQ、GPTQ 和 FP8 等多种量化路径,并讨论了在 150 TPS 下实现低于 100 毫秒推理延迟的系统配置。
-
LLM推理引擎通过连续批处理、PagedAttention和前缀缓存实现高吞吐量
像vLLM和SGLang这样的LLM推理引擎的效率,很大程度上得益于超越强大GPU的各种技术。这些引擎采用了连续批处理、PagedAttention和前缀缓存等方法来最大化吞吐量。连续批处理允许动态调度请求,在迭代级别进行处理,而不是等待静态批处理中最长请求的完成。PagedAttention通过使用类似于虚拟内存的基于块的系统来优化KV缓存的内存使用,从而大大减少碎片并增加有效批处理大小。前缀缓存通过重用多个请求中相同的提示前缀先前…
-
Logic42 详细说明了混合专家模型 (MoE) 的 GPU 显存容量计算错误
Logic42 的一项技术分析指出,在为 DeepSeek-V4.1-Flash 和 Moonshot Kimi K2.5 等大型混合专家模型 (MoE) 的 GPU 集群进行容量规划时,存在一个常见的计算错误。该错误在于仅考虑每个 token 的激活参数,而未能计入完整的模型权重以及 PagedAttention 所需的并发 KV 缓存,从而低估了显存需求。该分析提供了一个三部分组成的公式来计算总集群显存,强调需要足够的内存来容纳所…
-
LLM KV 缓存而非权重,是长上下文 VRAM 需求的主要驱动因素
运行大型语言模型 (LLM) 的内存需求不仅仅是模型权重,KV 缓存是一个重要因素,尤其是在长上下文窗口的情况下。例如,像 Llama 3.1 8B 这样的 7B 参数模型,在 128K 上下文长度下,其 KV 缓存每 token 大约需要 128 KiB,这会急剧增加 VRAM 的需求。架构差异,例如 KV 头的数量,也会影响缓存大小,Qwen2.5 7B 在相同上下文下比 Llama 3.1 8B 需要更少的缓存。即使采用 FP8…
-
LLM 服务拆分为两个阶段,GPU 通量加倍
现代 LLM 服务架构正通过将过程拆分为两个不同的阶段来更有效地处理请求:预填充(prefill)和解码(decode)。预填充阶段处理整个提示,是计算密集型的,受益于高 GPU 利用率。解码阶段负责逐个生成 token,是内存带宽密集型的,需要高效的 KV 缓存管理。PagedAttention、连续批处理(continuous batching)和分块预填充(chunked prefill)等创新对于优化这些阶段至关重要,而分离式…
-
PagedAttention和连续批处理革新大语言模型推理
大语言模型(LLM)服务基础设施在扩展推理方面面临严峻挑战,主要源于内存带宽和容量限制,而非原始计算能力。PagedAttention和连续批处理等关键创新,由vLLM等引擎率先推出,通过优化KV缓存的管理来解决这些问题。PagedAttention借鉴了操作系统虚拟内存的理念,将KV缓存划分为更小的块,将内存浪费从60%以上降低到4%以下,并提高了并发性。连续批处理通过在迭代级别处理请求,进一步提高了效率,避免了静态批处理和长时间等…
-
vLLM 抢占导致请求重启,增加延迟
vLLM 抢占问题发生在请求生成过程中 KV 缓存池可用块耗尽时,导致调度器驱逐正在进行的请求。在默认的 RECOMPUTE 模式下,这会丢弃请求的 KV 缓存,迫使其从头开始,从而导致显著的延迟峰值。此问题通常是由于允许的并发序列数量超过了 KV 池所能承受的范围,尤其是在输出长度较长的情况下。解决方案包括监控抢占计数、限制最大序列数量以及设置每个请求的 token 限制。
-
KV 缓存详解:大型语言模型如何管理上下文记忆以提高效率
KV 缓存是大型语言模型 (LLM) 中的一个关键组件,它存储先前生成 token 的键 (key) 和值 (value),从而避免在序列生成过程中进行冗余计算。这种缓存机制通过允许模型仅处理新 token 并从内存中读取过去上下文来显著提高效率。然而,KV 缓存的大小(由模型架构和上下文长度决定)可能会成为 GPU 内存的巨大消耗者,其大小甚至常常超过模型权重本身。像 PagedAttention 这样的技术旨在通过按需分配更小的内…
-
vLLM 内部:深入了解 LLM 推理请求生命周期
本文深入探讨了 vLLM 的内部工作原理,vLLM 是一个高吞吐量的 LLM 推理引擎。它追踪单个推理请求从初始 API 调用到进程间通信、调度,最终到 GPU 执行的全过程。解释重点关注 vLLM 0.22.0 的源代码,详细介绍了连续批处理、PagedAttention 以及调度和执行逻辑之间的分离等概念。
-
vLLM 的 PagedAttention 优化 LLM GPU 内存使用
vLLM 推出了 PagedAttention,这是一种管理大型语言模型 (LLM) GPU 内存的新颖方法,可显著减少浪费。传统的 LLM 服务框架通常会为键值 (KV) 缓存过度分配 GPU 内存,导致效率低下。PagedAttention 受操作系统虚拟内存的启发,将 KV 缓存划分为更小的块,允许它们非连续地存储在 GPU 内存中。这种方法可以缓解过度配置、内部碎片化和外部碎片化造成的内存浪费,有可能节省 60-80% 的 K…
-
使用 vLLM 自托管 LLM,云 GPU 成本节省 45%
本指南详细介绍了 2026 年在云 GPU 上使用 vLLM 自托管 LLM 的生产设置,旨在降低自主 AI 代理系统的成本。作者强调了 vLLM 相对于 TGI、SGLang 和 Ollama 等替代方案的优势,重点介绍了其 OpenAI 兼容 API、原生前缀缓存和结构化输出功能。讨论的关键技术包括用于高效 KV 缓存管理的 PagedAttention 和用于更快推理的 EAGLE-3 投机解码,成本分析表明 RunPod Co…
-
计算、内存和存储领域探索LLM首次响应时间缩减策略
减少大型语言模型(LLM)的首次响应时间(TTFT)对于用户体验和性能至关重要。这涉及到优化四个关键领域:计算、GPU内存、存储和整体架构。FlashAttention和PagedAttention等技术解决了计算和内存管理问题,但它们的有效性受到硬件带宽的限制。扩展GPU内存或将KV Cache分层到更快的存储(如NVMe-oF阵列)可以显著减少长上下文场景下的延迟,明信科技的解决方案就证明了这一点,该方案显示480B模型的TTFT…