Model Serving
PulseAugur coverage of Model Serving — every cluster mentioning Model Serving across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Kubernetes for AI: 管理 GPU、模型服务和可扩展推理
本文讨论了使用 Kubernetes 管理 AI 工作负载，重点关注处理图形处理单元 (GPU)、模型服务和可扩展推理的挑战。文章指出，虽然在容器中部署模型很简单，但在实际流量和多个用户团队下确保其性能、公平性和成本效益却带来了显著的复杂性。
-
Google 的 TabFM 已部署到 Databricks Model Serving
本文提供了一份实用指南，介绍如何使用 Databricks Model Serving 部署 Google 的 TabFM（一种表格基础模型）。文章详细介绍了打包模型并将其设置为实时端点的过程，以实现高效使用。
-
Databricks 详解实时电子商务推荐系统架构
Databricks 详细介绍了构建实时电子商务推荐系统的参考架构，旨在提高个性化和转化率。该系统利用 Databricks 数据智能平台，包括 Lakebase 和 AI Search，来处理大量的用户交互数据。它通过支持可预测表面的预计算和即时上下文的会话内信号直接处理的双路径架构，强调低延迟服务。
-
MLOps 专注于高效的模型部署基础设施
本文讨论了 MLOps 和模型部署基础设施，重点介绍了避免浪费资源的实用方法。它强调了高效的机器学习基础设施对于有效的模型部署和管理的重要性。
-
Databricks Feature Store 为 ML 模型实现亚秒级新鲜度
Databricks 增强了其 Feature Store，为机器学习模型提供亚秒级新鲜度，满足了欺诈检测和个性化等应用对实时数据的需求。更新后的 Feature Store 允许数据科学家一次定义特征，并在批量和实时管道中进行部署。它利用 Apache Spark Real-Time Mode、Lakebase 和 Model Serving，实现了从通过 Apache Kafka 进行数据摄取到特征可用性的端到端 p99 延迟为 …
-
Amtrak 构建由 AI 驱动的数据主干以实现重大铁路转型
Amtrak 正在实施一个名为 Rail Intelligence 的综合性数字智能平台，该平台基于 Databricks 构建，以支持其 50 多年来最重大的运营转型。该平台旨在将来自新列车组、预订系统和基础设施项目等各种来源的数据统一到一个单一的治理层中。目标是通过利用实时数据和机器学习模型，实现预测性维护，提高运营准备能力，并改进资本决策。
-
Databricks 展示低于 40 毫秒的实时交易评分
Databricks 开发了一个示例应用程序，展示了如何结合使用其 Model Serving 和 Lakebase 功能，在几毫秒内处理信用卡交易。该应用程序使用 FastAPI 和 React 构建，集成了用于低延迟模型推理的路由优化以及用于实时特征查找的托管 PostgreSQL 数据库。基准测试显示，端到端交易评分可在 40 毫秒内完成，突显了 Databricks 平台在实时欺诈检测和业务规则检查方面的效率。