GPUStack
PulseAugur coverage of GPUStack — every cluster mentioning GPUStack across labs, papers, and developer communities, ranked by signal.
- 2026-07-08 product_launch GPUStack launched a new Usage feature for tracking resource consumption in shared GPU clusters. 来源
2 天有情绪数据
-
GPUStack v2.3 通过分离和共享缓存增强 LLM 推理
GPUStack 发布了 2.3 版本,这是一个专注于优化 LLM 推理的开源更新。新版本引入了自动化 PD 分离编排、共享 KV 缓存池和弹性调度等功能。这些增强功能旨在提供更灵活的资源配置,简化部署和性能验证,并减少生产模型服务的冗余计算。
-
GPUStack 将 DGX Spark 节点上的 GLM 推理性能提升了 2.1 倍
在使用四个 NVIDIA DGX Spark 节点时,GPUStack 已证明 GLM-5.3-Flash-NVFP4 推理性能有了显著提升。通过广泛的网络调优和配置调整,包括优化 MTU、NIC QoS 和 NCCL 设置,该系统实现了 2.11 倍的单流解码吞吐量提升,从每秒 24.3 个 token 增加到 51.3 个 token。聚合输出吞吐量也有显著增加,从每秒 72.0 个 token 提升至 104.1 个 token。
-
DeepInfer 与 vLLM:在 B200 GPU 上进行推理速度基准测试
DeepSeek 开发的新开源推理框架 DeepInfer 已在八个 NVIDIA B200 GPU 上与 vLLM 进行了基准测试。此次集成由 GPUStack 和一个名为 DeepInfer-server 的轻量级服务项目促进,旨在评估实际部署性能。在使用 DeepSeek-V4.1-Flash 模型进行的测试中,DeepInfer-server 报告了更高的输出吞吐量和更低的 token 间延迟,而 vLLM 在首 token …
-
GPUStack 推出 Jev 决策路由以实现智能模型选择
GPUStack 在其 v2.3.0rc2 版本中推出了一项新的决策路由功能,允许应用程序使用单一入口点访问多个模型。该功能由 Jev 决策服务提供支持,可根据任务内容和管理员定义的策略智能选择合适的生成模型。本文详细介绍了在 GPUStack 中部署 Qwen3 和 DeepSeek 等模型、连接 Jev 进行决策以及配置名为 'demo-smart' 的路由以演示如何通过专用模型处理不同复杂度的任务的过程。
-
Qwen 发布 Qwen-Image-2.1,实现统一的图像生成与编辑
Qwen团队发布了Qwen-Image-2.1,这是一个开源模型,集成了文本到图像生成和编辑功能。新版本采用更紧凑的7B参数DiT架构进行图像生成,原生支持透明图像生成(RGBA),并通过多图像输入和本地编辑增强了灵活性。该模型旨在平衡效率与通用性,部署需要特定的运行时vLLM-Omni,单独的vLLM不足以支持。
-
vLLM vs. SGLang:Kimi-K3 基准测试显示上下文长度影响
对 Kimi-K3 模型进行的 vLLM 和 SGLang 推理基准测试比较显示,性能差异取决于上下文长度。在 64K 上下文窗口下,vLLM 表现出卓越的速度;而 SGLang 凭借其 Decode Context Parallelism (DCP) 功能,在更长的 200K 上下文工作负载下速度更快。主要性能瓶颈被确定在解码阶段,而非预填充阶段,并且随着上下文长度的增加,SGLang 显示出更好的吞吐量稳定性。
-
GLM-5.2-FP8-DSpark 部署显示性能提升参差不齐
GPUStack 上的一位社区成员部署了 GLM-5.2-FP8-DSpark,这是 GLM-5.2-FP8 的增强版本,它整合了来自 Red Hat AI 的外部草稿模型的推测性解码。性能测试结果喜忧参半:在单并发场景下,DSpark 提升了 2.2 倍;但在高并发情况下,其表现不如原始模型。研究结果表明,DSpark 目前最适合低并发交互式用例,而非高吞吐量的生产工作负载。
-
GPUStack 推出共享 GPU 集群使用追踪功能
GPUStack 推出了新的使用(Usage)功能,旨在提供对共享 GPU 集群内资源消耗的详细洞察。此功能旨在回答关于计算资源在哪里被使用、由谁使用以及用于哪些模型的关键问题。它提供了对 token 使用量、GPU/CPU 实例运行时间和存储的可见性,并能够按用户、API 密钥和模型类型细分使用情况,从而促进成本分配和资源管理。