Apache Airflow
PulseAugur coverage of Apache Airflow — every cluster mentioning Apache Airflow across labs, papers, and developer communities, ranked by signal.
- 2026-10-21 product_launch Apache Airflow released AI Provider 1.0, integrating LLM agent orchestration into production DAGs. 来源
4 天有情绪数据
-
从零开始构建生产级众包数据平台
本文详细介绍了从零开始构建生产级众包数据平台的建设过程,重点阐述了通过各种技术实现的八个阶段。该平台集成了 Kubernetes、Kafka、Spark、Airflow 和 dbt 等组件,所有这些都在 Google Cloud Platform (GCP) 上进行管理。它包括一个用于生成虚假移动设备测量数据的模拟器,这些数据通过 Spark medallion lake 进行处理,并由 dbt 进行转换,以便在 Looker Stu…
-
发布新的 Apache Airflow 3 机器学习编排教程
发布了一个关于使用 Apache Airflow 3 进行机器学习编排的新的实践教程,提供英语和西班牙语版本。该教程基于 Made With ML 的编排课程,但已更新至最新的 Airflow 版本,并设计为一个实践性的、自己动手做的项目。创作者手动运行和完善了每个部分,以确保清晰度和功能性,并加入了比原始材料更多的功能。
-
MLOps 流水线从 Docker 迁移到 Kubernetes 以增强可扩展性
本文详细介绍了 MLOps 流水线从本地 Docker 设置迁移到 Kubernetes 原生环境的真实案例。作者概述了迁移由 ML 支持的 Apache Airflow 流水线的过程,解决了 GitSync 和 Helm 等挑战,并强调了 Kubernetes 原生方法在可扩展性和管理方面的优势。
-
API Evangelist 简报详述 AI 代理集成和 API 性能指标
2026年10月下旬的 API Evangelist 简报重点介绍了 API 可发现性和集成方面的进展,特别是关于 AI 代理和“MCP”(可能是代理交互的协议或框架)。包括 Vercel、Traefik Labs 和 AWS 在内的多家公司正在将其平台集成代理功能,使 AI 助手能够执行诸如分支清理、客户细分和工作流自动化等任务。该简报还通过“Kin Score”和“Agent Readiness”指标跟踪 API 提供商的性能,其…
-
Apache Airflow 1.0 为生产 DAG 添加了 LLM Agent 编排功能
Apache Airflow 发布了 AI Provider 1.0,使用户能够将 LLM Agent 直接集成到其现有的生产 DAG 中。这个新的 Provider 提供了 Agent 编排原语,包括沙箱化代码执行和敏感操作的人工审批门禁。它支持 OpenAI、Anthropic 和 Google 等主流 LLM Provider,允许 Agent 作为标准的 Airflow 任务运行,并内置了重试逻辑和 XCom 数据传递。
-
统一命名空间仍未能解决工厂数据挑战
本文讨论了即使在实施了统一命名空间(UNS)的情况下,从工厂传感器数据中提取可操作见解所面临的挑战。虽然UNS有助于实时数据共享,但它在使这些数据易于用于回答关键业务问题方面留下了空白。文章详细介绍了工厂数据来自PLC和传感器、ISA-95模型层以及Modbus和OPC UA等各种工业协议带来的复杂性。它强调了传统工厂中点对点集成的“意大利面条问题”,这导致了数据基础设施的脆弱性和扩展困难。
-
MLOps指南:像霍格沃茨一样构建机器学习流水线
本文探讨了为机器学习流水线建立结构化课程表的重要性,并将其与霍格沃茨的学期安排进行了类比。文章强调了高效工作流编排的必要性,并讨论了Apache Airflow和Kubeflow等工具,这些工具可以解决管理复杂机器学习流水线带来的难题。
-
作者认为代理控制平面是重新包装的 API 网关
作者认为,“代理控制平面”的概念本质上是对现有基础设施的重新包装,而不是一个新软件类别。他们将代理控制平面的四个核心功能——成本计量、审批队列、工具调用策略和审计日志——分解,并将每个功能映射到 API 网关、工作流工具、授权系统和结构化日志记录等现有技术。尽管承认这些工具需要适应代理的特定需求,但作者认为团队可以利用他们现有的基础设施来有效地管理 AI 代理。
-
AI代理获得代码目录以在编码前改进上下文
一项实验探索了向AI代理提供一个包含9700个token的目录,该目录描述了180万行Apache Airflow代码。目标是在AI尝试改进代码库之前增强其上下文理解能力。这种方法旨在为AI代理提供更有用的任务信息。
-
Botika 在 Modal 平台上运行全栈生成式 AI
Botika 是一家专注于为时尚品牌提供 AI 驱动的电子商务解决方案的公司,已成功在 Modal 平台上实现了其全栈生成式 AI 运营。这包括管理一个 100TB 的图像数据集、训练拥有数十亿参数的专有基础模型,以及为大约 15 个模型提供生产推理服务。Botika 的研究人员现在每天可以进行更多的实验,从而加速其模型开发和迭代周期。
-
Hebbian Robotics 推出 HFlow 以构建可扩展的机器人数据管道
Hebbian Robotics 推出了 HFlow,这是一个开源 SDK,旨在简化机器人和物理 AI 开发的数据管道管理。该工具旨在简化收集、摄取、整理和交付多模态数据的复杂过程,而这通常是团队的一个重大瓶颈。HFlow 支持 MCAP 格式以实现高效的数据存储和检索,并允许用户在不进行大量重写的情况下集成现有的 Python 处理代码。
-
Apache Airflow 被强调为关键的开源数据管道编排器
Apache Airflow 被选为今日开源精选,因其在调度对 AI 模型训练至关重要的数据管道方面的作用而受到认可。该工具被描述为数据工程领域的标准编排器。
-
智能体自动从 DataHub 元数据生成 Airflow DAG
已开发出一款新型智能体,能够自动从 DataHub 元数据生成 Apache Airflow DAG。该工具分析 DataHub 中的血缘关系、新鲜度 SLA 和 PII 标签,以构建 Airflow 任务,然后将这些任务渲染成确定性的 DAG。该智能体有两种运行模式:一种是 LLM 驱动的智能体,用于规划 DAG 结构;另一种是用于 CI/CD 流水线的脚本模式。设计上避免了 LLM 直接生成生产代码。
-
2026 年 MLOps 生态系统:关键工具和集成
到 2026 年,MLOps 生态系统预计将发生重大演变,重点是集成工具链。Kubernetes 和 Docker 等关键技术将继续作为容器化和编排的基础。Terraform 和 Ansible 等工具对于基础设施即代码至关重要,而 Prometheus 和 Grafana 将提供必要的监控功能。工作流管理可能由 Apache Airflow 和 Kubeflow 等平台主导,mlflow、Data Version Control、W…
-
新的AirFlow框架提高了空气质量预测的准确性
研究人员开发了AirFlow,一个新颖的双流框架,旨在通过考虑不同污染物的独特特征来改善空气质量预测。该系统采用统计引导的归一化路由机制和分层双流状态模型,该模型利用门控双向交叉注意力。实验表明,AirFlow的性能优于现有方法,在计算需求显著降低的情况下实现了更高的准确性。
-
使用 Docker 和 Open-Meteo 构建 Apache Airflow ETL 管道
本指南提供了使用 Apache Airflow 构建提取、转换、加载 (ETL) 管道的详细分步演练。它涵盖了使用 Docker Compose 设置环境、与 Open-Meteo API 集成以提取数据、转换数据以及将数据加载到 PostgreSQL 数据库。本教程解决了 API 主机名解析、通过 XCom 在任务之间传递数据以及数据库验证等实际问题,旨在回答实施 Airflow 工作流时出现的常见问题。
-
构建用于员工流失预测的生产级MLOps平台
本文详细介绍了构建一个用于预测员工流失的生产级MLOps平台的过程。内容涵盖了从原始数据摄取到实时预测API部署的端到端流程。讨论的关键技术和方法包括Airflow、Feast、MLflow、DVC、FastAPI、数据管道、模型训练、部署、监控、版本控制、CI/CD、Kubernetes和Docker。
-
开发者使用 Claude API 和 Airflow 构建新闻通知器
一位开发者使用 Anthropic 的 Claude API 和 Airflow 创建了一个个人新闻通知器。该系统设计为每五小时获取一次新闻更新,让用户无需不断查看各种来源即可保持知情。该项目展示了将大型语言模型与工作流编排工具集成以实现自动化信息传递的实际应用。
-
MLOps详解:弥合从Notebook到生产的鸿沟 · 追踪8个来源
该文章集探讨了MLOps,即将DevOps原则应用于机器学习模型以确保其能够可靠地部署和维护在生产环境中。多篇文章详细介绍了如何构建自愈MLOps管道,该管道可自动检测数据漂移等问题并重新训练模型。文章涵盖了各种工具和平台,包括AWS、Kubernetes、Docker和Python,以弥合模型在Notebook中开发与生产就绪之间的差距。
-
2026年数据工程师路线图:超越ETL,迈向LLM管道
2026年成为一名数据工程师需要掌握超越传统ETL的现代技能,重点关注流数据、云优化以及理解管道如何支持LLM应用。该路线图强调掌握SQL的高级函数,使用Python进行数据迁移而非复杂的数据科学,并熟练掌握Linux命令行工具。它还强调数据建模的重要性,特别是维度建模和现代列式仓库青睐的反范式方法,以确保数据被视为产品。