KServe
PulseAugur coverage of KServe — every cluster mentioning KServe across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Kubernetes 和 Envoy AI Gateway 简化 AI 工作负载管理
文章讨论了 MLOps 的实现和架构，重点关注使用 Kubernetes 运行大规模 AI 工作负载。关键主题包括在 Kubernetes 上使用 KServe 进行模型服务，以及开发 Envoy AI Gateway 作为管理各种 LLM 流量的解决方案。Envoy AI Gateway 旨在通过抽象 API 调用、计费和响应流的差异，来标准化与 OpenAI、Anthropic 和 Bedrock 等不同 LLM 提供商的交互。
-
Kubeflow 和 KServe 简化了从笔记本到生产的机器学习模型部署
本文详细介绍了将机器学习模型从 Jupyter Notebook 部署到生产环境的过程。文章重点介绍了如何利用 Kubeflow 和 KServe 构建健壮的端到端 ML 流水线，确保高可用性和自动扩展能力。
-
在 OpenShift AI 上构建的用于模型漂移检测的 MLOps 管道
本文详细介绍了使用 OpenShift AI 构建漂移检测管道的过程。OpenShift AI 是一个专为 MLOps 设计的平台。该过程涉及利用 Kubernetes 和 KServe 部署模型，然后自动化数据漂移（特别是概念漂移）的检测，以确保模型随时间的性能。
-
KServe 简化了在 Kubernetes 上部署 ML 模型
本文介绍了如何使用 KServe 在 Kubernetes 上部署机器学习模型。KServe 通过抽象手动管理多个 Kubernetes 资源（如 Deployments 和 Ingresses）的需求，简化了该过程。相反，用户定义一个 InferenceService，KServe 会自动处理模型加载、网络和自动伸缩，使生产级模型服务更易于管理。
-
OpFML管道简化了地球科学的运行机器学习部署
一个名为OpFML的新管道已被开发出来，用于简化机器学习模型在运行环境中的部署，特别是在气候和地球科学应用中。OpFML将数据消耗、故障处理、预处理和模型推理整合到一个可配置的工作流中。这种方法旨在减少每次新部署通常需要的大量样板代码，其在预测意大利南部每日火灾活动中的应用证明了这一点。
-
kube-llmops 在 Kubernetes 上提供全面的 LLM 操作
本文比较了三个用于运行大型语言模型的 Kubernetes 平台：KAITO、KServe 和 kube-llmops。kube-llmops 被强调为一个全面的解决方案，在一个 Helm 安装中提供了完整的 LLM 操作堆栈。这包括模型服务能力、AI 网关、可观测性工具、RAG、微调、SSO 和自动扩展功能。
-
万亿参数AI模型给Kubernetes编排带来挑战
在Kubernetes集群中运行万亿参数的AI模型，其挑战远超标准的容器编排。这些庞大的模型需要分布式系统方法，其中单个“副本”可能包含多个GPU甚至整个节点，而不是适合单个Pod。核心问题在于管理模型权重所需的巨大内存，即使采用16位精度，也可能达到TB级别，这需要仔细考虑并行策略和量化技术。
-
平台工程师使用 KServe 在 EKS 上部署 ML 模型的指南
本指南详细介绍了平台工程师如何使用 KServe 在 Amazon Elastic Kubernetes Service (EKS) 上有效地部署机器学习模型。它提供了设置必要的基础设施和配置以实现强大 ML 模型部署的循序渐进的方法。文章强调了最佳实践，以确保在 Kubernetes 环境中成功高效地服务模型。
-
AI代理需要“AgentOps”上下文；KServe简化AI推理部署
引入了AgentOps的概念，将其定位为基础设施即代码（Infrastructure as Code）之上的一个层级，专注于AI代理在采取行动前所需的上下文理解。这包括定义什么是事实、什么已经过验证以及不应重复哪些决策。另外，还提供了一份nxs-universal-chart v3.0指南，详细介绍了使用KServe部署AI推理模型所需的组件，如流量路由、自动扩展和监控，以简化部署流程。
-
KServe 通过无服务器推理简化 Kubernetes 上的 AI 模型部署
KServe 是一个开源项目，专为 Kubernetes 上的可扩展、多模型服务而设计。它旨在简化生产环境中机器学习模型的部署和管理。该平台支持各种框架，并提供无服务器推理和 MLOps 集成的功能。