实体
NVIDIA GPU Operator
NVIDIA GPU Operator
PulseAugur coverage of NVIDIA GPU Operator — every cluster mentioning NVIDIA GPU Operator across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Kubernetes LLM 服务：拥挤的领域与关键的差距已识别
在 Kubernetes 上部署大型语言模型的服务领域正在迅速发展，许多曾经开放的挑战现在已被资金雄厚的项目和标准所解决。KV 缓存感知路由、预填充/解码分离、分数 GPU 共享和基本 GPU 调度原语等领域正变得拥挤。然而，仍然存在显著的差距，特别是在将模型权重分发视为一等 Kubernetes 原语方面，这目前会导致漫长的冷启动时间。
-
面向DevOps的生成式AI课程涵盖GPU基础设施和LLM服务
一系列帖子详细介绍了“面向DevOps的100天生成式AI”课程，重点关注运行大型语言模型的基础设施和运营方面。该课程涵盖了诸如Kubernetes中的GPU利用率、vLLM等高效LLM服务框架以及LLM的GPU内存需求计算等主题。它旨在为DevOps、SRE和平台工程师提供将AI集成到其工具包中的技能，超越基础的提示工程，转向构建和管理由AI驱动的解决方案。