Spark Declarative Pipelines
PulseAugur coverage of Spark Declarative Pipelines — every cluster mentioning Spark Declarative Pipelines across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Databricks 发布 Spark 声明式管道实时模式
Databricks 已宣布其 Spark 声明式管道 (SDP) 的实时模式 (RTM) 现已全面可用。此新模式可实现毫秒级的端到端处理延迟，从而支持欺诈检测和实时个性化等关键运营工作负载。RTM 在单一框架下统一了批处理、ETL 和低延迟流处理，无需 Apache Flink 等独立引擎，并降低了运营开销。
-
Databricks：声明式管道对 AI 智能体更优越
Databricks 发布的研究表明，与过程式代码相比，声明式管道在 AI 智能体构建数据管道方面效率更高。基准测试显示，声明式管道使用的计算时间减少了 34 倍，代码量减少了 51%，这主要是因为通过“试运行”验证过程可以及早捕获结构性错误。这种效率使得 Spark Declarative Pipelines (SDP) 等声明式框架成为自主智能体生成生产数据管道的首选架构，目前在 Databricks 上，智能体已创建了超过 70…
-
Databricks 推出 Funke，用于在 Lakehouse 上实现原生 HL7v2 解析
Databricks 推出了 Funke，这是一个开源加速器，旨在将 HL7v2 电子健康记录消息直接解析为 Databricks Lakehouse 上的原生 Spark 类型。这个新的 Python 和 PySpark 库是其 2021 年 Scala 库 Smolder 的继任者，并与 Unity Catalog 和 Spark Declarative Pipelines 等现代 Databricks 功能集成。Funke 旨在…
-
数据转换：数据工程和 ETL 的核心
数据转换是数据工程中的一个关键步骤，涉及将原始数据清洗、结构化和丰富化，转化为可用的数据集。此过程可提高数据质量，确保跨不同来源的一致性，并使数据与分析工具兼容。它是提取、转换、加载 (ETL) 管道的核心组成部分，使组织能够从其信息中获得可操作的见解。
-
Databricks AUTO CDC 增强 Spark 功能，支持双时间历史和部分更新
Databricks 增强了其在 Apache Spark 声明式管道中的 AUTO CDC 功能，以应对复杂的数据工程挑战。此次更新引入了双时间历史跟踪，允许重建数据在特定时间点的状态，这对于遵守 SEC Rule 17a-4 和 FINRA 等法规至关重要。此外，AUTO CDC 现在支持部分更新，可自动处理仅提供更改字段的源，并防止意外覆盖现有数据。
-
Databricks提供通过SQL、SDP或PySpark进行ETL迁移的框架
Databricks推出了一项新框架，旨在帮助组织迁移现有的ETL（提取、转换、加载）管道。该框架概述了三种主要的迁移路径：利用Databricks SQL处理以SQL为主的工作负载，采用Spark声明式管道（SDP）进行自动化编排和数据质量管理，或使用PySpark和Spark SQL笔记本进行复杂逻辑和自定义集成。这种方法鼓励采用分阶段迁移策略，而非一次性大规模切换，同时利用Lakebridge和AI辅助代码转换等工具来协助这一过程。
-
Databricks 在 SIGMOD 2026 上展示 Spark 声明式管道和 Enzyme 引擎
Databricks 在 SIGMOD 2026 上展示其在数据工程方面的进展，重点是 Spark 声明式管道 (SDP) 及其 Enzyme 引擎。Enzyme 在会议上获得荣誉奖，通过自动更新物化视图来简化 ETL 和流式工作负载的增量视图维护。该公司的研究将在两篇论文中详细介绍，一篇关于用于数据工程的 Enzyme，另一篇关于 Apache Spark Structured Streaming 的演进。