Kueue
PulseAugur coverage of Kueue — every cluster mentioning Kueue across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Prime Inference 发布模型服务，Aleph Alpha 发布 Kolibri，Anthropic 培训 AI 工程师 · 跟踪到 1 个来源
Prime Inference 推出了一个用于服务开源 AI 模型的新平台，每日处理近万亿个 token 以支持各种应用。在相关新闻中，Aleph Alpha 发布了 Kolibri，这是一个拥有 781 亿参数的开源模型，支持工具调用和百万 token 上下文窗口。Anthropic 正通过其 Claude Frontier Academy 投资 1 亿美元，目标到 2027 年培训 10,000 名 AI 工程师，并与主要公司合作…
-
Kubernetes LLM 服务：拥挤的领域与关键的差距已识别
在 Kubernetes 上部署大型语言模型的服务领域正在迅速发展，许多曾经开放的挑战现在已被资金雄厚的项目和标准所解决。KV 缓存感知路由、预填充/解码分离、分数 GPU 共享和基本 GPU 调度原语等领域正变得拥挤。然而，仍然存在显著的差距，特别是在将模型权重分发视为一等 Kubernetes 原语方面，这目前会导致漫长的冷启动时间。
-
Anyscale Connect 集成 Kubernetes Ray 部署
Anyscale 推出了 Anyscale KubeRay Connect，这是一款旨在将 Anyscale 平台与现有 Kubernetes Ray 部署集成的新产品。该新产品允许用户在利用 Anyscale 的可观测性和编排功能的同时，继续维护其现有的 KubeRay operator 及相关工具（如 Kueue 和 Argo CD）。Connect 产品通过在准入时将轻量级 sidecar 注入现有的 KubeRay 规范，从而…
-
Nova AI 探索用于 Kubernetes 工作负载的专用 GPU 调度器
一位Nova AI工程师详细介绍了在Kubernetes集群中为各种AI/ML工作负载高效管理GPU资源的挑战。标准的Kubernetes调度不足以应对涉及推理、训练和数据科学任务的复杂场景，这些任务需要专门处理GPU分配、作业排队和优先级管理。该团队探索了Volcano、Kueue和KAI Scheduler等专用AI/ML调度器来解决这些限制并优化GPU利用率。