vLLM
PulseAugur coverage of vLLM — every cluster mentioning vLLM across labs, papers, and developer communities, ranked by signal.
- used by PagedAttention 90%
- developed by DiffusionGemma 90%
- developed DiffusionGemma 90%
- used by Gemma 4.31B 90%
- uses PagedAttention 90%
- instance of Mixture of Experts (MoE) 90%
- used by Nexus Labs 90%
- developed PagedAttention 90%
- used by Gemma 4-E2B 90%
- used by XGrammar 90%
- used by Dockerfile 90%
- uses HF Jobs 90%
- 2026-08-21 product_launch vLLM released version 0.28.0rc2, featuring the DFlash2 system. 来源
- 2026-08-12 product_launch vLLM released version 0.27.2rc0 with new features and contributions. 来源
- 2026-08-11 product_launch vLLM has been released for Windows and supports AMD hardware. 来源
- 2026-08-10 product_launch vLLM released version 0.27.0, featuring an update for Tensor Processing Units. 来源
- 2026-07-31 product_launch Baidu has released vLLM, an open-source inference and serving engine for large language models, optimized for their Kunlun AI chips. 来源
- 2026-07-30 product_launch vLLM released version 0.25.0 with Model Runner V2 as the default, enhancing quantization support for LLM inference. 来源
- 2026-07-27 product_launch vLLM has released version 0.26.0. 来源
- 2026-07-25 product_launch vLLM released version 0.26.0, including a bugfix for A.X-K1 initialization. 来源
- 2026-07-12 product_launch vLLM released version 0.25.1, a bugfix update. 来源
- 2026-07-09 product_launch The vLLM project released version 0.25.0. 来源
- 2026-07-08 product_launch Hugging Face released an update to the vLLM transformers modeling backend, enabling native inference speeds for compatible models. 来源
- 2026-06-25 product_launch vLLM released version 0.24.0rc2. 来源
- 2026-06-24 product_launch vLLM released version 0.24.0rc1, a release candidate that includes a fix for the topk histogram build on SM75 hardware. 来源
- 2026-06-04 product_launch vLLM released version 0.22.1, including a fix for DeepSeek-V4 initialization compatibility. 来源
- 2026-05-29 product_launch vLLM merged a pull request for a new HIP W4A16 kernel, enhancing performance. 来源
30 天有情绪数据
vLLM是什么？它对LLM推理的核心价值是什么？vLLM是一个用于大型语言模型的高性能服务引擎，可最大限度地提高GPU利用率和吞吐量。它利用PagedAttention和连续批处理来减少内存浪费和延迟，这对于生产环境中的LLM部署至关重要。这些优化确保了成本效益和速度，这对于效率至关重要的AI应用（尤其是在云环境和代理模型中）至关重要。最近的更新继续巩固了其作为高效LLM服务的领先选择的地位。vLLM如何与竞争对手的推理引擎进行基准测试？vLLM在NVIDIA GPU上始终显示出卓越的速度，适用于高吞吐量的生产场景，但也面临着多样化的竞争。最近的基准测试，包括与Ollama和SGLang的比较，突出了vLLM在高并发下的效率，每秒处理的令牌数量显著增加。虽然vLLM在VRAM限制内表现出色，但像llama.cpp和Ollama这样的竞争对手可以将更大的模型溢出到系统RAM，尽管速度较慢。在AMD MI300X和Google Cloud TPU上的新部署也展示了vLLM在不同硬件上的适应性，尽管已注意到特定的TPU部署问题。vLLM最新的性能提升和功能有哪些？vLLM最近的更新侧重于连续批处理、FP8量化和强大的结构化输出，以及关键的可靠性修复。在NVIDIA L40S GPU上的优化表明，连续批处理使吞吐量提高了73倍，FP8量化又增加了50%的提升。新的GRIT格式通过明确定义数值契约来解决量化模型中的静默错误，从而增强了可靠性。与Swarm等框架的集成也确保了高效的编排和路由，同时继续努力提高结构化输出的准确性。vLLM部署在哪里？其主要用例是什么？vLLM广泛用于在云环境中自托管LLM和代理模型，并具有新的Kubernetes自动扩缩功能。它是AWS EKS或Google Cloud TPU等平台上成本敏感、高容量任务的首选，比托管服务提供更好的经济效益。新的开发允许基于队列深度进行Kubernetes自动扩缩，优化GPU密集型推理的资源分配。此外，vLLM支持Agents-A1等新的代理模型和编码LLM，使其适用于高级AI应用，甚至可以在强大的本地硬件上运行前沿模型。vLLM面临哪些挑战和未来方向？vLLM继续解决VRAM限制以及来自SGLang等新兴框架的激烈竞争，以及新的部署复杂性。虽然在VRAM内表现出色，但当模型超出内存时，vLLM可能会失败，这与可以将模型溢出到系统RAM的竞争对手不同。最近在Google Cloud TPU上部署量化Gemma模型的问题凸显了在不同硬件和量化方案之间实现强大兼容性的必要性。SGLang在多轮交互中的兴起以及对一致的推测解码性能的需求，促使vLLM在上下文管理和效率方面不断创新，以适应不断发展的LLM用例。
近期动态
- — 开源Swarm框架统一AI代理编排和LLM网关
- — vLLM 对比 Ollama：LLM的生产服务
- — AI推理的Kubernetes自动扩缩：基于队列深度进行扩缩
- — 在单个Google Cloud TPU v5e芯片上自托管AI代理后端
- — 新的GRIT格式旨在防止量化AI模型中的静默错误
- — vLLM 对比 SGLang：Kimi-K3基准测试显示上下文长度影响
为何这些故事上榜
-
85
This cluster highlights a critical development in model reliability, introducing the GRIT format to prevent silent bugs in quantized models. Its direct impact on vLLM's integrity makes it highly significant.
-
82
A direct comparison between vLLM and Ollama for production serving is highly valuable, clearly delineating their optimal use cases and vLLM's superior performance under high concurrency.
-
80
A direct benchmark comparison between vLLM and its key competitor SGLang is always high-value. This cluster provides crucial insights into performance differences based on context length, informing deployment decisions.
-
78
This cluster details concrete performance optimizations for vLLM on NVIDIA L40S GPUs, showcasing substantial gains from continuous batching and FP8 quantization. It's a strong signal of ongoing core development.
-
77
This cluster addresses a critical infrastructure challenge for vLLM deployments, providing a practical solution for Kubernetes autoscaling based on inference queue depth, crucial for production environments.
-
72
This cluster provides a practical guide for self-hosting an AI agent backend using vLLM on Google Cloud TPU, demonstrating its real-world applicability for agentic AI tasks.
vLLM报道走势
趋势
Coverage of vLLM remains consistently strong, indicating a plateau of sustained interest rather than a sharp acceleration or decline. Recent clusters, such as the vLLM vs. Ollama benchmark (200606), Kubernetes autoscaling (199356), and the GRIT format (185098), continue to drive engagement by showcasing its performance, practical applications, and reliability improvements in production.
与同行对比
vLLM's coverage often centers on its superior throughput for specific workloads, contrasting with SGLang's strengths in long-context, multi-turn interactions, and llama.cpp/Ollama's local/VRAM-limited use cases. vLLM is uniquely highlighted for its robust production-grade optimizations, structured output capabilities, and cloud deployment flexibility, including new deployments on AMD MI300X and Google Cloud TPUs.
话题分布
This cycle, the topic mix for vLLM has shifted further towards product/infra (Kubernetes autoscaling, GRIT, performance optimizations, cloud deployment, Swarm integration) and benchmarks (vLLM vs. Ollama, SGLang), with ongoing relevance in agentic AI (TPU deployments) and reliability.
编辑观点
Our read on vLLM this cycle highlights its continued dominance in high-throughput LLM inference, especially for production-grade cloud deployments and agentic AI. We see a strong focus on refining core performance and reliability through innovations like the GRIT format and enhanced Kubernetes autoscaling. The ongoing benchmarks against competitors like Ollama and SGLang underscore a healthy competitive landscape, pushing vLLM to innovate further in efficiency and structured output for evolving AI applications.
常见问题
- vLLM的核心目的是什么？它如何实现高性能？
- vLLM是一个用于高吞吐量和低延迟LLM推理的开源库，主要通过PagedAttention和连续批处理来优化性能。PagedAttention有效地管理KV缓存以减少内存浪费，而连续批处理则通过在请求到达后立即处理它们来保持GPU的繁忙。这些技术显著提高了吞吐量并降低了在生产环境中服务LLM的成本，使其成为要求苛刻的AI应用（包括涉及代理模型的应用）的流行选择。
- vLLM与SGLang和Ollama等其他流行的LLM服务框架相比如何？
- vLLM通常在NVIDIA GPU上表现出卓越的吞吐量，适用于高并发生产工作负载，显著优于Ollama。SGLang凭借其解码上下文并行性，可以为超长上下文工作负载和多轮交互提供更好的性能。对于本地、基于CPU的推理或VRAM极度受限的情况，llama.cpp和Ollama通常是首选，因为它们可以将模型溢出到系统RAM，尽管速度较慢。最近的部署也显示vLLM在AMD MI300X GPU上的应用。
- vLLM在效率和可靠性方面的最新进展是什么？
- vLLM取得了多项关键进展。连续批处理和FP8量化在NVIDIA L40S等现代GPU上持续带来显著的吞吐量提升。在可靠性方面，新的GRIT格式通过明确定义数值契约来解决量化模型中的静默错误，防止数值格式处理中的错误。此外，与Swarm等框架的集成增强了其在代理编排和模型路由方面的能力。
- vLLM如何有效地部署在云环境中用于AI代理？
- vLLM非常适合在云平台上自托管LLM，特别是对于高容量、成本敏感的任务。在AWS EKS或Google Cloud TPU等服务上使用GPU Spot实例部署vLLM比托管LLM服务更经济。最近的开发还支持基于推理队列深度的Kubernetes自动扩缩，确保高效的资源利用。然而，在TPU上部署量化模型的具体挑战凸显了正在进行的兼容性工作。
相关
-
科大讯飞发布 Domux 智能家居模型挑战赛
科大讯飞开放原子开源发布了 HER Hack-Astron #4 挑战赛，重点关注其新近开源的智能家居模型 Domux。参赛者需要将 Domux 应用于真实场景中运行，评估其性能，并以可复现案例的形式记录其发现。本次挑战赛鼓励在集成、效率和鲁棒性等多个赛道上贡献，优秀提交者将获得奖品。
-
中诚华隆发布HL200推理芯片及10240颗GPU集群
中诚华隆发布了其新款HL200推理芯片以及超节点智能计算集群解决方案。HL200芯片支持低精度推理，提供具有竞争力的性能和能效，旨在满足日益增长的高效AI推理需求，特别是针对大型语言模型和AI代理。配套的集群解决方案专为大规模可扩展性而设计，支持多达10240颗GPU，旨在为大规模AI部署提供一个强大且经济高效的基础。
-
vLLM 配置调优指南，实现最佳 LLM 服务
本文深入探讨了 vLLM 的配置设置，vLLM 是一个流行的用于服务大型语言模型的框架。文章解释说，虽然 vLLM 的默认设置通常很好，但它们可能并非对每个用户的特定工作负载都最优。文章强调，理解每个设置的底层机制是有效调优的关键，并且通常只需要调整少数几个设置。作者还触及了 vLLM 调度的演变，从静态批处理转向更动态的方法，如连续批处理和分块预填充，这些方法通过更好地管理 token 预算和服务器资源来提高效率。
-
Kimi K3 LLM 使用 8 个 B300 GPU 托管，达到 92 token/秒
一位用户详细介绍了他们使用八个 B300 GPU 托管拥有 2.8 万亿参数的 Kimi K3 大型语言模型的经验。该设置实现了每秒 92 token 的吞吐量，首次 token 时间约为 1 秒，每百万输出 token 的成本为 190 美元。用户还尝试了 Unsloth 的 Dynamic GGUF，发现其速度明显较慢，每 token 成本更高，尽管质量被认为是可接受的。
-
Linux 将本地 LLM 速度提升高达 50%，优于 Windows
一位用户报告称，在运行本地大型语言模型时，从 Windows 切换到 Linux 带来了显著的性能提升。通过将 Windows 上的 llama.cpp 迁移到 Linux 上的 vLLM，用户体验到了 30-50% 的速度提升。这表明 Linux 可能为某些本地 LLM 推理任务提供了更优化的环境。
-
NInfer 分叉版在 CMP170HX 硬件上实现了 Qwen3.6-35B 性能翻倍
一位用户成功分叉了 NInfer 项目，使其能够在 CMP170HX 硬件上运行，并为 Qwen3.6-35B 模型实现了两倍的性能提升。此修改涉及调整 CUDA 内核和编译器标志，以适应 CMP170HX 的特定架构，这与它最初基于的 RTX 3090 不同。用户强调了本地 AI 社区其他开发者的贡献，并详细介绍了为实现这一性能提升所克服的技术挑战，包括内核启动大小错误和工作区大小调整。
-
LLM规划器的结构性缺陷在模型升级后依然存在
一个关于构建名为PlannerCritic的开源LLM规划引擎的系列文章揭示了该规划器在创建可靠计划方面的结构性缺陷。尽管使用了GPT-4o等先进模型并实现了修订循环，该规划器仍然一贯地犯三类相同的错误：未经验证的依赖关系、不安全的排序以及薄弱的回滚机制。作者得出结论，这些问题源于规划结构本身的根本性问题，而非LLM的大小或能力，并且需要确定性验证才能改进。
-
Qwen 3.8 在 Intel Arc Pro B70 硬件上的 Helm chart 已发布
一位用户为 Qwen 3.8 模型创建了一个 Helm chart，专门为拥有 Intel Arc Pro B70 硬件的用户量身定制。该 chart 将补丁集成到固定的 vLLM 版本中，使用户能够在 128k 上下文窗口下实现每秒 40-70 个 token 的推理速度。该项目在 GitHub 上可用，建立在现有 Intel Arc Pro B70 推理工作的基础上。
-
IBM发布Granite 4.0 3B Vision，Hugging Face分享vLLM和PyTorch工具
IBM发布了Granite 4.0 3B Vision，这是一款专为企业文档设计的紧凑型多模态智能模型。此次发布是Hugging Face上共享的更广泛进展的一部分，包括新工具和研究。其他相关内容包括关于使用HF Jobs运行vLLM服务器的指南以及对使用PyTorch进行性能分析的深入探讨，重点关注注意力机制。
-
Swarm项目在单一Rust运行时中统一了AI网关和代理框架
Swarm是一个用Rust构建的AI基础设施项目，旨在将网关和代理框架功能统一到单一运行时中。这种方法允许开发人员从多提供商路由的基本网关功能开始，并逐步添加更复杂的代理功能，而无需进行架构上的重大调整。Swarm支持各种LLM提供商和本地模型，原生管理对话状态，并与模型上下文协议（MCP）集成以执行工具。
-
vLLM 发布 0.28.0rc2 版本，引入 DFlash2 性能增强
vLLM 发布了 0.28.0rc2 版本，引入了 DFlash2 系统。此次更新结合了局部卷积方法和候选选择器来提高性能。该版本包含 khluu 的贡献。
-
Qwen3.8-27B-Unleashed-GGUF 模型现已兼容 llama.cpp、vLLM、Ollama 等
outsourc-e/Qwen3.8-27B-Unleashed-GGUF 模型现已可用于各种流行的推理工具。提供了将其与 llama.cpp、vLLM、Ollama、Unsloth Studio 和 LM Studio 集成的说明。该模型还可以通过 Jan 和 Pi 等本地应用程序以及 Google Colab 和 Kaggle 等云平台进行使用。此版本旨在简化此特定 Qwen 模型在各种环境中的部署和使用。
-
用户寻求 vLLM 中 Qwen 的 KV 缓存卸载设置
一位 Reddit r/LocalLLaMA 版块的用户在使用 vLLM 库时，正在寻求关于 Qwen 模型 KV 缓存卸载配置的帮助。尽管尝试了各种设置，用户仍然遇到导致崩溃的持续性错误。他们正在寻找可能已成功实现此功能的其他用户的共享工作配置。
-
Hugging Face 探索3D画廊构建、跨域存储和vLLM后端
Hugging Face 正在探索几个高级AI主题，包括使用Spaces Agents构建一个3D巴黎画廊。他们还在试验用于Transformers.js的跨域存储API，并详细介绍了一个高性能的vLLM Transformer建模后端。
-
OBLITERATUS/Qwen3.8-27B-OBLITERATED 模型现已支持多种AI框架
OBLITERATUS/Qwen3.8-27B-OBLITERATED 模型现已可用于各种流行的AI库和推理提供商。提供了将模型与MLX、llama.cpp、vLLM、Ollama和Unsloth Studio集成的说明。这些指南详细介绍了如何在本地或通过兼容服务器设置和运行模型，使用户能够通过不同的应用程序和框架利用其功能。
-
Gemma 4 E2B 部署问题凸显 TPU 服务堆栈的局限性
一位开发者在使用 Google Cloud TPU 的 vLLM 服务堆栈部署 Google 的 Gemma 4 E2B 模型（带有量化检查点）时遇到了问题。由于检查点格式与服务堆栈的功能之间存在差异，特别是关于量化方案和缺失的模型权重，int4 和去量化 QAT 变体都无法加载。开发者最终实现了一个自定义加载路径来解决这些问题，这凸显了 int4 和去量化检查点之间的选择很大程度上取决于可用的硬件内存，而不仅仅是检查点类型。
-
Mistral 发布自托管 3B 审核模型 Shieldstral 1.0
Mistral 发布了 Shieldstral 1.0，这是一款拥有 30 亿参数、专为自托管文本和图像内容审核设计的模型。该模型在 Apache 2.0 许可下提供，并包含完整权重，可在单块 16GB GPU 上运行，并可与常见的推理栈集成。其主要特点是“策略自适应”审核，允许用户通过自然语言提示定义审核规则，而无需重新训练。尽管 Mistral 报告了强劲的基准分数，但这些分数尚未得到独立验证，且该模型专注于审核而非通用任务。
-
ArguLens系统提供带反馈的开源自动论文评分
研究人员开发了ArguLens，一个用于自动论文评分（AES）和生成反馈的开源系统。与只提供整体分数的传统AES系统不同，ArguLens将评分过程分解为三个独立的、可本地部署的组件：一个话语模式分类器、一个基于特征的评分器和一个反馈生成器。这种模块化方法旨在为分数提供更具可解释性的证据，并解决与闭源API相关的数据隐私问题。该系统使用Qwen2.5-7B-Instruct和Qwen2.5-14BInstruct等模型构建，在其分类和…
-
AI 模型 GPU 选型指南侧重于权重和 KV 缓存的显存
本文为站点可靠性工程师提供了一种估算托管 AI 模型所需的 GPU 内存（显存）的方法。它将显存消耗分解为模型权重、并发请求的 KV 缓存以及其他开销。该指南强调了 AWQ 等量化技术如何显著减小模型权重的内存占用，从而为 KV 缓存腾出显存，进而提高服务容量。
-
Inco AI 发布 DFlash 2 以加快 LLM 推理速度
Inco AI 发布了 DFlash 2，这是大型语言模型（LLM）投机解码的一项进展。新版本在原始 DFlash 的并行草稿方法的基础上，通过最小的延迟增加，将每次验证的输出提高了 20% 以上。DFlash 2 旨在通过在单次传递中优化 token 预测和选择，来提高推理效率，这是 AI 代理的一个关键瓶颈。