SGLang 通过感知缓存的路由提升模型网关性能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-01-09 06:18

SGLang 发布了其模型网关 0.3.1 版本，显著提升了性能并减少了内存使用。此次更新引入了感知缓存的路由，速度提升 10-12 倍，内存使用减少 99%，在相同占用空间内可实现 100 倍的缓存条目。此版本还集成了企业级安全功能，如 JWT/OIDC 认证，并增加了对分类工作负载的支持。 AI

影响增强了大规模多租户 AI 部署的效率和可扩展性。

排序理由这是一个基础设施工具的软件发布，而不是前沿模型发布或重要的行业事件。

在 vLLM SGLang — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一个基础设施工具的软件发布，而不是前沿模型发布或重要的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 271 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

vLLM SGLang — Releases TIER_1 English(EN) · slin1237 · 2026-01-09 06:18

Release Gateway-v0.3.1

<h2>🚀 SMG v0.3.1 Released!</h2> <p>We're excited to announce SMG v0.3.1 – a game-changing release with 10-12x performance improvement and 99% memory reduction in cache-aware routing, plus enterprise-grade security!</p> <h2>🌲 Radix Tree / Cache-Aware Routing: 10-12x Faster + 99% L…

本文如何被排名

报道来源 [1]

Release Gateway-v0.3.1

相关实体

相关话题