English(EN) Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets

Google Cloud 发布 llm-d 1.0，优化分布式 AI 推理

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-21 04:33

Google Cloud 已发布 llm-d 1.0，这是一个开源的分布式推理堆栈，旨在优化大型语言模型的服务。这个原生于 Kubernetes 的层与 vLLM 和 SGLang 等模型服务器集成，使它们能够作为一个协调的池运行。新版本引入了多租户服务质量、零停机升级和代理感知服务等功能，旨在提高自托管 AI 工作负载的性能和可靠性。 AI

影响优化分布式 LLM 服务，可能提高自托管 AI 应用的效率并降低成本。

排序理由发布用于 LLM 的开源推理堆栈。

在 MarkTechPost 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 发布用于 LLM 的开源推理堆栈。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 2 days old; Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

MarkTechPost TIER_1 English(EN) · Asif Razzaq · 2026-10-21 04:33

Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets

<p>Google, Red Hat and IBM released llm-d 1.0, an open-source Kubernetes-native stack for distributed LLM inference. It adds multi-tenant flow control, zero-downtime upgrades and agent-aware routing across vLLM, SGLang, TPUs and GPUs.</p> <p>The post <a href="https://www.marktech…

本文如何被排名

报道来源 [1]

Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets

相关实体

相关话题