vLLM
PulseAugur coverage of vLLM — every cluster mentioning vLLM across labs, papers, and developer communities, ranked by signal.
- developed DiffusionGemma 90%
- used by Nexus Labs 90%
- developed PagedAttention 90%
- developed by PagedAttention 90%
- used by Llama 3-8B 90%
- used by Dockerfile 90%
- competes with Text Generation Inference 80%
- used by H.1000 Gnome 80%
- used by llama-cpp-python 70%
- used by LM Studio 70%
- used by Google Colab 70%
- used by Unsloth Studio 70%
- 2026-07-09 product_launch The vLLM project released version 0.25.0. 来源
- 2026-07-08 product_launch Hugging Face released an update to the vLLM transformers modeling backend, enabling native inference speeds for compatible models. 来源
- 2026-06-25 product_launch vLLM released version 0.24.0rc2. 来源
- 2026-06-24 product_launch vLLM released version 0.24.0rc1, a release candidate that includes a fix for the topk histogram build on SM75 hardware. 来源
- 2026-06-04 product_launch vLLM released version 0.22.1, including a fix for DeepSeek-V4 initialization compatibility. 来源
- 2026-05-29 product_launch vLLM merged a pull request for a new HIP W4A16 kernel, enhancing performance. 来源
- 2026-05-28 product_launch vLLM released version 0.22.0, including a fix for multi-API server startup timeouts. 来源
- 2026-05-28 product_launch vLLM released version 0.22.0rc3. 来源
- 2026-05-26 product_launch Nexus Labs implemented and tested vLLM's prefix caching feature, observing significant latency improvements for AI agents. 来源
- 2026-05-15 product_launch vLLM released version 0.21.1rc0.
29 天有情绪数据
-
AWS SageMaker HyperPod 推出分离式 LLM 推理以提高性能
Amazon SageMaker HyperPod 现在支持大型语言模型 (LLM) 推理的分离式预填充和解码 (DPD) 技术。该技术将提示处理（预填充）和令牌生成（解码）阶段分离到不同的 GPU 池上，并通过支持远程直接内存访问 (RDMA) 的 Elastic Fabric Adapter (EFA) 进行连接。DPD 特别有利于长上下文、高并发的流式工作负载（例如聊天助手和 RAG 应用），因为它能防止长提示阻塞正在进行的解码…
-
Hugging Face 详细介绍 PyTorch 性能分析和 vLLM 部署
Hugging Face 发布了一系列博文，详细介绍了 PyTorch 中的高级性能分析技术。这些文章涵盖了优化神经网络组件（如 nn.Linear 和融合 MLP）以及关注注意力机制以进行性能分析。此外，其中一篇文章演示了如何使用 HF Jobs 运行 vLLM 服务器以实现高效部署。
-
vLLM 项目发布 0.25.0 版本，包含 CI 更新
vLLM 项目已发布 0.25.0 版本，其中包含对其持续集成流程的更新。此版本特别解决了 cargo-deny 标志顺序的配置问题，如问题 #48170 所述。此更新由 Red Hat 的 Lucas Wilkinson 标记。
-
AWS SageMaker HyperPod 通过新功能提升企业 AI 推理能力
Amazon SageMaker HyperPod 推出了新功能，以增强生成式 AI 工作负载的企业推理能力。这些更新包括在推理管道的各个节点改进数据捕获能力，提供更强的可观测性和可审计性。该平台现在支持直接从 Hugging Face 等社区中心进行部署，并内置了受控访问和版本固定功能。通过 NVMe 存储降低延迟以提升性能，并通过细粒度的 IAM 权限和自动 DNS 管理增强安全性。
-
添加旧款 GPU 未能提升 Ollama/vLLM 的上下文窗口
使用 Ollama 和 vLLM 测试双 GPU 设置，结果显示在更强大的 RTX 3090 旁边添加一个旧款 Quadro P2000 并未增加上下文窗口。相反，旧款 GPU 导致 Ollama 的解码速度显著下降，并且被 vLLM 拒绝，因为它较低的计算能力与 AWQ 量化方法不兼容。这表明仅仅添加更多 GPU，尤其是旧款 GPU，并不能自动提升 LLM 的性能或上下文处理能力。
-
Hugging Face 将 CI 迁移到其 Jobs 平台，重点介绍 vLLM 后端
Hugging Face 正在将其 GitHub CI 工作流迁移到 Hugging Face Jobs。此举旨在利用 Hugging Face Jobs 的功能，更高效地、可能通过 AI 驱动的方式自动发布内容，包括标题和链接。此外，Hugging Face 还重点介绍了一个新的原生速度 vLLM Transformer 建模后端，有望提升 Transformer 模型的性能。
-
Robbyant发布LingBot-Video，一款开源MoE视频生成模型
Robbyant发布了LingBot-Video，这是一款开源的混合专家（MoE）视频生成模型，专为具身智能设计。该模型在包含网络视频和具身数据的海量数据集上进行训练，采用高效的MoE架构，推理速度比以往模型快约三倍。LingBot-Video集成了多奖励系统，优先考虑输出的美学质量、物理合理性和任务完成度。
-
开发者发现自托管 LLM 的问题是配置问题，而非模型缺陷
一位开发者发现，他们自托管的编码模型 Ornith-1.0-35B 表现不佳是由于服务配置不正确，而非模型本身的缺陷。通过分析 LiteLLM 的支出日志，他们发现请求发送时使用了最大的随机参数（temperature 和 top_p 均为 1.0），并且模型的推理能力被禁用。此外，对具有极长上下文的 KV 缓存使用 fp8 精度会导致性能下降。通过调整服务配置，包括 temperature 和启用思考（thinking），并将 KV…
-
新库将 GPU 加速的惩罚应用于 LLM logits 以增强安全性
一个名为 ReskLogits 的新开源库已被开发出来，通过在 token 采样发生之前的 logits 层面进行干预来增强 LLM 的安全性。这种方法旨在通过实时对危险 token 应用惩罚来防止有害内容的生成，从而使攻击者更难利用提示注入漏洞。该库提供了一个 GPU 加速的 Aho-Corasick 算法，用于高效的模式匹配，并支持多级过滤，允许根据禁用短语的严重程度进行可配置的惩罚。
-
SemiAnalysis 讨论 DeepSeek V4、华为 Ascend NPU 和 LLM 框架竞争
SemiAnalysis 发布了一期节目，讨论了 DeepSeek V4 模型和华为 Ascend NPU 的性能。该节目题为“第 17 集 - DeepSeek V4 和华为 Ascend NPU 性能 (InferenceX)”，由 @noslawextratost 发表见解。此外，讨论还涉及 vLLM 和 SGLang 之间的竞争格局，强调了竞争如何促进该领域的有益进步。
-
法国初创公司 ZML 发布免费 AI 推理软件，支持多种芯片 · 追踪 2 个来源
法国 AI 初创公司 ZML 推出了 ZML/LLMD，这是一款旨在优化多种硬件（包括来自 Nvidia、AMD、Google、Apple 和 Intel 的芯片）上 AI 推理速度的新软件。该工具旨在打破供应商锁定，并通过实现对不同芯片架构的高效利用来降低企业的 AI 相关成本。在 Yann LeCun 和 2000 万美元融资的支持下，ZML 最初免费提供该软件，以评估使用情况和市场影响。
-
NVIDIA 发布 Audex，一个统一的音频-文本大语言模型，保留文本智能
NVIDIA 推出了 Audex (Nemotron-Labs-Audex-30B-A3B)，一个能够理解和生成音频及语音的统一音频-文本大语言模型。与许多文本性能有所下降的多模态模型不同，Audex 的设计旨在保持其 Nemotron-Cascade-2-30B-A3B 骨干模型的文本智能。该模型通过多阶段训练过程和纯文本强化学习来实现这一点，从而在文本基准测试中取得有竞争力的分数，并具备强大的音频能力，包括超越语音的通用音频生成。
-
vLLM 后端现已匹配 Hugging Face 模型原生速度
Hugging Face 已增强其 vLLM 转换器建模后端，以实现兼容架构的原生推理速度。此更新利用 torch.fx 和 AST 操作在运行时动态融合操作并优化模型图，可媲美自定义编写的 vLLM 实现的性能。这些改进已针对各种 Qwen3 模型进行了基准测试，证明 transformers 后端现在可以提供与 vLLM 原生代码相当的速度，而无需模型作者手动移植其架构。
-
L40S 上的 vLLM 优化：批处理和 FP8 带来显著提升
对 NVIDIA L40S GPU 上 vLLM 优化的详细分析，使用 Llama 3.1 8B Instruct 模型，揭示了连续批处理是最大的性能提升因素，吞吐量增加了 73 倍，并带来了显著的能源效率提升。FP8 量化也提供了显著的提升，在质量损失极小的情况下将吞吐量提高了约 50%，而投机解码则根据工作负载的不同提供了进一步但不太显著的改进。研究强调了高并发性对于在此硬件上最大化效率的重要性。
-
NVIDIA 发布基于 DeepSeek-V3 架构的 Kimi-K2.7-Code
NVIDIA 发布了 Kimi-K2.7-Code，这是一个基于 DeepSeek-V3 架构的开源模型。该模型拥有 320 亿活跃参数和 256,000 个 token 的上下文窗口。它在 vLLM 框架内使用了推测解码，并已针对 NVFP4 硬件进行了量化部署，支持文本、图像和视频模态。性能评估包括 SWE-bench Verified 和 Terminal-Bench 2.1，但训练数据中包含有毒内容。
-
OSAI Pulse 将 vLLM 和 ComfyUI 列为顶级开源AI工具
OSAI Pulse 是一个开源AI工具的每日评分系统，已将 vLLM 评为表现最佳的推理服务器，得分 74/100。在AI图像生成类别中，ComfyUI 以 92/100 的得分领先。这些得分是使用来自GitHub、Docker、Python Package Index和npm等平台的采用信号计算得出的。
-
使用 Antigravity CLI 和 MCP 工具在 Google Cloud TPU 上部署 Gemma 4
本文详细介绍了一个利用托管在 Google Cloud TPU 上的 Gemma 4 模型而构建的 DevOps/SRE 助手项目。它提供了部署和调试 Gemma 4 的分步指南，利用了一套 Python MCP 工具和 Antigravity CLI。该项目旨在简化 Google Cloud 环境中的模型管理、配置和性能测试。
-
Gepard 1.0 开源，用于实时流式语音合成
一款名为 Gepard 1.0 的新型开源文本到语音（TTS）模型已发布，专为实时对话式交流而设计。该模型注重流式处理，在文本到达时就开始生成音频，实现了约50毫秒的首次音频生成时间。该模型采用了 Qwen3.5 0.8B 主干和 Nemo NanoCodec，提供零样本语音克隆功能，并支持英语、西班牙语、葡萄牙语和荷兰语等多种语言。虽然它在感知质量和实时性能方面表现出色，但在说话人相似度和词错误率方面与非流式模型相比存在一些权衡。
-
自托管 LLM 将成本转移到持续评估上
自托管开源大型语言模型将主要成本从 API 使用转移到持续的模型评估工作。量化是减少模型本地使用大小的常用技术，但可能会在推理和长上下文检索等关键任务上微妙地降低性能。此外，推理引擎（如 vLLM 或 TGI）的选择也会以不易察觉的方式改变模型行为。与维护持续评估流程的托管模型提供商不同，大多数自托管团队只测试模型一次，这可能导致性能随着时间的推移而下降而未被发现。
-
Tencent 发布 Hy3，一个开放的 295B MoE 模型，支持 256K 上下文
Tencent 发布了 Hy3，一个开源的 2950 亿参数专家混合（MoE）模型，专为复杂推理、代理工作流和长上下文任务而设计。该模型每个 token 只激活 210 亿参数，在保持效率的同时支持 256K 的上下文窗口。Hy3 在编码、STEM 和推理任务等各种基准测试中表现出色，并经过特定训练以提高工具调用中的可靠性、减少幻觉并增强多轮意图跟踪。该模型可通过兼容 OpenAI 的 API 访问，并提供 `reasoning_ef…