Google Kubernetes Engine
PulseAugur coverage of Google Kubernetes Engine — every cluster mentioning Google Kubernetes Engine across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的代理提供自托管 LLM 的每个代理 GPU 成本跟踪
开发了一个新的 LLM 推理代理，以解决自托管模型时 AI 代理成本可见性的差距。与专注于 token 数量的现有工具不同，该代理跟踪 GPU 小时消耗，提供每个代理和模型的精细成本数据。这有助于在迁移到不同 LLM 之前进行更好的预算管理、模型使用策略执行和影响分析。
-
面向 Agentic AI 的 MLOps：在 GKE 上扩展自主系统
本文讨论了大规模部署 agentic AI 系统的运营挑战和解决方案，重点关注 Google Kubernetes Engine (GKE)。文章强调了从简单的问答模型转向复杂的自主代理，这些代理需要强大的基础设施来进行编排、监控和高效的资源管理。文章强调了先进的 MLOps 实践对于处理这些代理的动态性质的必要性。
-
NVIDIA 和 Google Cloud 通过新工具推动人工智能开发者社区发展
NVIDIA 和 Google Cloud 正在扩展其联合开发者社区，旨在为超过 10 万名构建者提供人工智能工具和学习资源。该计划侧重于在 Google Cloud 中利用 NVIDIA 的人工智能平台，为 JAX 和推理优化提供新的学习路径。开发者现在可以在 Google Cloud 基础设施上利用 Google DeepMind 的 Gemma 和 NVIDIA 的 Nemotron 等模型，包括由 NVIDIA Blackwe…
-
在 GKE 上自托管 LLM 常常因忽视成本和合规性而失败
许多团队错误地选择在 Google Kubernetes Engine (GKE) 等基础设施上自托管大型语言模型，仅仅关注每个 token 的定价，而忽略了闲置计算成本和持续的运营责任等关键因素。相反，决策应由数据驻留和合规性要求、实际的持续 token 量以及组织管理复杂 GPU 基础设施的能力来驱动。忽视这些因素可能导致巨大的财务浪费和运营负担，使得托管 API 服务成为许多用例更经济实惠且实用的选择。
-
GKE Pod Snapshots 缩短 AI 模型冷启动延迟
本文讨论了 Google Kubernetes Engine (GKE) Pod Snapshots 如何显著减少 AI 模型冷启动相关的延迟。通过捕获运行中 pod 的状态，这些快照可以实现更快的重启，这对于经常出现缓慢初始启动时间的 LLM（大型语言模型）尤其有利。该技术旨在提高 Kubernetes 上运行的 AI 驱动应用程序的响应能力。