KServe
PulseAugur coverage of KServe — every cluster mentioning KServe across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
在 OpenShift AI 上构建的用于模型漂移检测的 MLOps 管道
本文详细介绍了使用 OpenShift AI 构建漂移检测管道的过程。OpenShift AI 是一个专为 MLOps 设计的平台。该过程涉及利用 Kubernetes 和 KServe 部署模型，然后自动化数据漂移（特别是概念漂移）的检测，以确保模型随时间的性能。
-
KServe 简化了在 Kubernetes 上部署 ML 模型
本文介绍了如何使用 KServe 在 Kubernetes 上部署机器学习模型。KServe 通过抽象手动管理多个 Kubernetes 资源（如 Deployments 和 Ingresses）的需求，简化了该过程。相反，用户定义一个 InferenceService，KServe 会自动处理模型加载、网络和自动伸缩，使生产级模型服务更易于管理。
-
kube-llmops 在 Kubernetes 上提供全面的 LLM 操作
本文比较了三个用于运行大型语言模型的 Kubernetes 平台：KAITO、KServe 和 kube-llmops。kube-llmops 被强调为一个全面的解决方案，在一个 Helm 安装中提供了完整的 LLM 操作堆栈。这包括模型服务能力、AI 网关、可观测性工具、RAG、微调、SSO 和自动扩展功能。
-
万亿参数AI模型给Kubernetes编排带来挑战
在Kubernetes集群中运行万亿参数的AI模型，其挑战远超标准的容器编排。这些庞大的模型需要分布式系统方法，其中单个“副本”可能包含多个GPU甚至整个节点，而不是适合单个Pod。核心问题在于管理模型权重所需的巨大内存，即使采用16位精度，也可能达到TB级别，这需要仔细考虑并行策略和量化技术。
-
平台工程师使用 KServe 在 EKS 上部署 ML 模型的指南
本指南详细介绍了平台工程师如何使用 KServe 在 Amazon Elastic Kubernetes Service (EKS) 上有效地部署机器学习模型。它提供了设置必要的基础设施和配置以实现强大 ML 模型部署的循序渐进的方法。文章强调了最佳实践，以确保在 Kubernetes 环境中成功高效地服务模型。
-
AI代理需要“AgentOps”上下文；KServe简化AI推理部署
引入了AgentOps的概念，将其定位为基础设施即代码（Infrastructure as Code）之上的一个层级，专注于AI代理在采取行动前所需的上下文理解。这包括定义什么是事实、什么已经过验证以及不应重复哪些决策。另外，还提供了一份nxs-universal-chart v3.0指南，详细介绍了使用KServe部署AI推理模型所需的组件，如流量路由、自动扩展和监控，以简化部署流程。
-
KServe 通过无服务器推理简化 Kubernetes 上的 AI 模型部署
KServe 是一个开源项目，专为 Kubernetes 上的可扩展、多模型服务而设计。它旨在简化生产环境中机器学习模型的部署和管理。该平台支持各种框架，并提供无服务器推理和 MLOps 集成的功能。