PulseAugur
中
实时 12:26:32
English(EN) When Should an LLM Router Stop Being Sticky? llm-d 1.0 Cache-Affinity Routing, Break-Even Math, and a Simulation

CNCF 发布 llm-d 1.0 以优化 LLM 推理路由

作者 PulseAugur 编辑部 · [1 个来源] ·

云原生计算基金会 (CNCF) 宣布发布 llm-d 1.0，这是一个旨在优化 LLM 推理路由的开源项目。新版本支持 vLLM 和 SGLang 等模型服务器，并引入了一种默认路由策略，优先将请求发送到已持有提示前缀的端点。该方法旨在通过最大化前缀缓存命中率来显著降低 GPU 成本，据报道，与标准的 Kubernetes Service 路由相比，吞吐量提高了 2.9 倍。该项目得到了 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 等主要贡献者的支持，还包括 KV 缓存卸载和多租户服务质量等功能。 AI

影响 优化 LLM 推理路由，可能降低大量使用提示前缀的服务的 GPU 成本。

排序理由 这是一个用于 LLM 推理路由的开源工具发布，而不是前沿模型发布或重大的行业事件。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

CNCF 发布 llm-d 1.0 以优化 LLM 推理路由

本文如何被排名

Signal score
1 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是一个用于 LLM 推理路由的开源工具发布，而不是前沿模型发布或重大的行业事件。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · AI Tech News ·

    When Should an LLM Router Stop Being Sticky? llm-d 1.0 Cache-Affinity Routing, Break-Even Math, and a Simulation

    <h2> TL;DR </h2> <ul> <li> <strong>What shipped:</strong> llm-d 1.0 was announced on 2026-10-20 under CNCF governance, with vLLM and SGLang as supported model servers. The feature that most affects your GPU bill is not the headline list. It is the default routing rule described i…

相关实体

相关话题