PulseAugur
中
实时 17:42:33
English(EN) Buoyant, the team behind Linkerd, has open-sourced Kinference, a control plane for running vLLM on Kubernetes. It adds declarative routing policies, token rate

Buoyant开源Kinference，优化Kubernetes上的LLM推理

作者 PulseAugur 编辑部 · [2 个来源] ·

Buoyant发布了Kinference，一个开源控制平面，旨在利用vLLM在Kubernetes集群上管理大型语言模型推理。该新工具引入了策略驱动的路由、令牌速率限制和感知KV缓存的负载均衡，以优化模型服务。基准测试表明，在首个令牌时间和吞吐量方面有了显著的改进，特别是在具有共享前缀的工作负载中，尽管对于没有共享缓存数据的提示，性能提升不太明显。 AI

影响 优化Kubernetes上的LLM推理服务，可能提高部署多个模型的组织的效率和成本。

排序理由 这是一个用于管理LLM推理的新开源工具发布，而不是前沿模型发布或重大的行业转变。

在 Mastodon — sigmoid.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Buoyant开源Kinference，优化Kubernetes上的LLM推理

本文如何被排名

Signal score
3 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是一个用于管理LLM推理的新开源工具发布，而不是前沿模型发布或重大的行业转变。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
product, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [2]

  1. MarkTechPost TIER_1 English(EN) · Michal Sutter ·

    Buoyant 发布 Kinference：Kubernetes 和 vLLM 的开源推理控制平面

    <p>Buoyant has released Kinference, an Apache 2.0 inference control plane for vLLM on Kubernetes. It adds declarative routing policies, KV-cache-aware load balancing and per-tenant metrics, and cut median TTFT 95% in Buoyant’s own benchmark.</p> <p>The post <a href="https://www.m…

  2. Mastodon — sigmoid.social TIER_1 English(EN) · [email protected] ·

    Linkerd背后的Buoyant公司开源了Kinference，一个用于在Kubernetes上运行vLLM的控制平面。它增加了声明式路由策略、令牌速率

    Buoyant, the team behind Linkerd, has open-sourced Kinference, a control plane for running vLLM on Kubernetes. It adds declarative routing policies, token rate limits, KV-cache-aware load balancing and per-tenant metrics. In Buoyant's own benchmark, median time to first token fel…

    链接 marktechpost.com/…/buoyant-kinference-ope…

相关实体

相关话题