Delta Lake
PulseAugur coverage of Delta Lake — every cluster mentioning Delta Lake across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Azure、AWS、GCP 上的 MLOps CI/CD 和特征工程 · 跟踪 2 个来源
该集群探讨了在 Azure、AWS 和 GCP 等主要云平台上实现 MLOps 中的 CI/CD 管道。它强调了 MLOps 与传统 DevOps 的区别，强调了特征工程和可扩展数据处理的重要性。Azure Databricks 结合 Apache Spark 和 Delta Lake 等技术，被认为是管理大规模特征工程和 MLOps 工作流的关键工具。
-
数据湖与云数据仓库：选择正确的架构
本指南比较了数据湖和云数据仓库架构，重点介绍了它们在数据存储、查询性能、治理和成本方面的差异。数据湖因其读时模式（schema-on-read）方法和低成本对象存储，非常适合存储用于机器学习和高级分析的原始、多格式数据。相反，云数据仓库针对结构化数据和用于商业智能的高并发SQL查询进行了优化，采用写时模式（schema-on-write）方法。数据湖仓（Data lakehouses）被提出为一种解决方案，它结合了两者优点，在数据湖存…
-
Databricks 概述统一数据管道架构，推出 Lakeflow
Databricks 详细介绍了其数据管道架构方法，强调了一个整合批处理和流式数据处理的统一平台。该公司指出，有效架构将数据摄取、处理、存储和提供分离为不同的层，而 Medallion、Lambda 和 Kappa 等模式提供了不同的权衡。Databricks 的 Lakeflow、Delta Lake 和 Unity Catalog 被呈现为简化这些流程的工具，正朝着更灵活的 ELT 方向发展，而非传统的 ETL。
-
Databricks 为 AI 智能体、模型和数据推出 OpenSharing
Databricks 推出了 OpenSharing，这是其 Delta Sharing 协议为智能体 AI 时代进行的演进。这个新的开源协议现在由 Linux Foundation 托管，它将数据共享扩展到涵盖跨任何云或供应商的模型、智能体和技能。OpenSharing 旨在通过支持 Delta Lake、Apache Iceberg 和 Apache Parquet 等各种格式，实现无缝协作，让数据和 AI 资产保留在其原始位置。
-
Text-to-SQL LLM 风险：数据泄露和成本超支
Text-to-SQL 是一个已解决的问题的观念是一个危险的迷思，因为 LLM 会生成非确定性的 SQL 查询，对敏感数据构成风险。将整个模式馈送给 LLM 或使用语义代理层等方法可能导致数据损坏或上下文窗口限制等问题。一个更健壮的解决方案涉及一个“硬门控 SQL 沙盒”，它使用抽象语法树 (AST) 验证器在执行前检查生成的 SQL 是否存在未经授权的访问或连接，同时在数据库层面进行资源治理以防止过度的计算成本。
-
Databricks 实现跨引擎统一数据访问控制
Databricks 推出了其跨引擎 ABAC 功能的 Beta 版本，允许在 Unity Catalog 中一次性定义基于属性的访问控制，并跨各种外部数据引擎强制执行。这项新功能旨在通过在目录层集中管理策略来简化数据治理，避免在不同系统之间重复安全规则。该功能利用开放的 Iceberg REST Catalog API，使任何兼容的引擎都能将策略执行委托给 Unity Catalog，从而确保在数据访问到达查询引擎之前就受到控制。
-
AI 工作负载需要新的数据架构层
传统数据栈不足以应对现代 AI 工作负载，这些工作负载需要处理非结构化数据、实时嵌入和强大的 lineage 跟踪。文章提出了一个新的“Platinum”或原生 AI 层，扩展了 Medallion 架构，用于预先物化特征和为 AI 模型计算嵌入。这种方法从一开始就确保 AI 就绪，避免了痛苦的改造，并为 AI 预测提供了关键的可审计性。
-
Databricks 为 SQL 专业人士推出分析工程师学习路径
Databricks 推出了专为 SQL 从业者设计的新学习路径，旨在帮助他们成为分析工程师。该课程侧重于在 Databricks Lakehouse 平台内将原始数据转化为受管的、面向 AI 的语义模型和指标视图。该路径涵盖了数据建模、构建原生 SQL ETL 管道以及定义指标等基本技能，并提供自定进度和讲师指导两种课程形式。
-
Databricks 推出用于指导性操作的 AI 销售工具
Databricks 开发了 PipelineIQ，这是一款由 AI 驱动的销售智能工具，旨在超越传统的预测。PipelineIQ 不依赖于回顾性数据，而是分析混乱的 CRM 信息，为销售团队提供指导性的“下一步最佳行动”。该系统识别应加速、调整或取消优先级的交易，并提供清晰的理由和针对特定角色的指导。
-
Databricks 支持外部引擎写入 Unity Catalog 表
Databricks 推出了一个 Beta 功能，允许 Apache Spark、Flink 和 DuckDB 等外部引擎创建、读取和写入 Unity Catalog 管理的 Delta 表。此扩展基于 Unity Catalog 的开放 API，旨在消除数据孤岛并降低冗余存储成本。新功能利用 Delta Lake 的 catalog commits 来实现事务安全和可审计性，同时还支持流式操作和自动数据优化。
-
统一收入平台架构解决销售分析碎片化问题
本文提出了一个统一收入平台（URP）的四层架构，以解决B2B组织中销售分析的碎片化问题。该系统将CRM数据摄取、目标层叠、机器学习预测和基于角色的分析集成到一个平台中。通过在数据摄取、数据平台、财务规划和展示等不同层级分离关注点，URP旨在减少手动数据对账，并提供团队健康状况和绩效的整体视图。
-
Databricks MCP 让 AI 代理直接查询 Lakehouse 数据
Databricks 发布了一项名为 MCP 的集成，允许 Claude 和 Cursor 等 AI 代理直接访问和交互存储在 Databricks Lakehouse 中的数据。该工具使 AI 模型能够查询 Delta 表、执行笔记本、管理集群和检查数据沿袭，而不仅仅是访问文档。该集成旨在通过允许对话式命令在 Databricks 环境中触发操作，来简化数据分析、自动化和 MLOps 任务。
-
Databricks Catalog Commits GA 统一湖仓数据协调
Databricks 已宣布其 Unity Catalog 管理表支持的 Catalog Commits 正式可用，这是一次重要的平台升级。该功能旨在通过将 Delta Lake 与 Iceberg 的面向目录的模型对齐，统一湖仓，从而实现目录跨各种引擎协调 Delta 表的发现、访问和状态。Catalog Commits 解决了目录元数据与实际表状态不一致的“脑裂”等问题，并支持以前在开放湖仓架构中不支持的多语句、多表事务。
-
SAP 收购 Dremio 和 Prior Labs 以增强其 AI 就绪数据平台
SAP 收购了数据湖仓提供商 Dremio，以增强其数据分析和 AI 能力。此举旨在统一企业内外部数据，为大规模 AI 代理提供支持。此次收购凸显了 SAP 致力于利用 Apache Iceberg 等开放表格式的承诺，并可能改变其以往的合作策略。
-
Databricks 将 Postgres 运营数据原生同步至 Lakehouse
Databricks 推出了原生 Lakehouse 同步功能 (Native Lakehouse Sync)，该功能允许将其 Lakebase 中的运营 PostgreSQL 数据自动复制到 Unity Catalog 管理的表中。由于同步是 Lakebase 的原生属性，因此无需传统的 ETL 管道或外部计算。此集成旨在提供实时机器学习功能，将运营数据用作 medallion 架构中的 bronze 层，并捕获每一次更改的审计日志…
-
Databricks 和 Google Cloud 通过 Catalog Federation 实现数据互操作性
Databricks 和 Google Cloud 增强了其数据平台 Unity Catalog 和 BigQuery 之间的互操作性。这项新集成允许客户在不创建重复副本的情况下从任一平台访问相同的数据。双向 Catalog Federation 使用户可以在 BigQuery 中读取 Unity Catalog 管理的表，反之亦然，从而简化了跨不同数据资产的数据治理和分析。