Lakehouse
PulseAugur coverage of Lakehouse — every cluster mentioning Lakehouse across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Databricks 为 Delta Lake 和 Apache Iceberg 启用多语句事务
Databricks 已宣布 Delta Lake 和 Apache Iceberg 的多语句事务现已全面可用。此功能使组织能够直接在其 Lakehouse 架构上运行具有原子性保证的复杂、多步骤工作流，从而无需单独的数据仓库系统。通过原生支持这些事务，Databricks 旨在减少与传统仓储方法相关的数据移动、碎片化治理和操作复杂性，同时通过行级并发提供高并发性能。
-
RAG系统面临内容和权限时效性混淆带来的安全风险
一次技术讨论强调了大多数检索增强生成（RAG）系统的一个关键缺陷：将内容时效性与访问控制混为一谈。作者认为，权限和内容的衰减发生在不同的时间尺度上，这会导致安全漏洞，即被吊销的访问权限仍可能返回结果。提出的解决方案是将可以最终一致的索引与必须同步并在查询时针对数据湖仓的治理层进行检查的授权分开。这种分离对于防止企业RAG应用程序中的敏感数据泄露至关重要。另外，一个个人叙述详细介绍了Modesta Otieno的软件开发之旅，包括她对I…
-
Databricks 湖仓一体通过改进的 SQL 性能挑战数据仓库
Databricks 声称其湖仓一体平台在 SQL 性能方面现已可与传统数据仓库相媲美，并引用了两年内生产 SQL 工作负载 77% 的改进。该公司强调了 Lumen Technologies 等客户案例，这些客户在迁移到湖仓一体后，查询性能提升了 90%，成本也随之降低。除了 SQL，Databricks 还强调了湖仓一体能够从单一、受治理的基础设施中原生服务 AI 代理和 ML 模型，这是传统数据仓库所不具备的功能。
-
Databricks 发布 Genie Ontology，为企业 AI 提供上下文
Databricks 推出了 Genie Ontology 系统，旨在为 AI 代理提供分析业务数据的关键企业上下文。该本体集成了来自 Unity Catalog 等来源的精选信息，以及从文档、仪表板和应用程序中学习到的知识，并通过认证和使用情况等信号对上下文进行权威性排序。该系统旨在使 AI 代理能够准确回答业务特定问题，克服缺乏这种机构知识的通用 AI 模型的局限性。
-
Databricks推出IP Functions，实现Lakehouse上的高性能网络分析
Databricks宣布其IP Functions已全面可用，这是一项旨在增强其Lakehouse平台内网络分析能力的新功能。这些函数允许组织直接使用SQL处理、丰富和分析海量IP数据，并在统一的治理模型下将其与其他分析工作负载集成。这旨在简化和加速关键用例，如威胁检测、欺诈调查和网络可观测性，而这些用例以前需要专门的、通常是孤立的技术栈。
-
Databricks 增强 Lakebase Postgres 功能，支持即时恢复和高级搜索
Databricks 为其 Lakebase Postgres 产品推出了新功能，提高了其性能和成本效益。该平台现在支持高达 100 TB 数据库的近乎即时的、基于分支的恢复，将停机时间从数小时大幅缩短至数秒。此外，集成了全文搜索和向量搜索扩展的 Lakebase Search 现已全面可用，旨在直接在 Postgres 中提供最先进的检索功能，并在基准测试中超越专用搜索引擎。
-
Databricks 在 VLDB 2026 上展示人工智能时代创新
Databricks 将在 VLDB 2026 上展示与 Lakebase、流处理和 Lakehouse 技术相关的创新。这些进步旨在支持人工智能时代日益增长的需求。该公司将分享这些技术如何增强其平台。
-
Databricks 阐明数据网格与数据编织架构
Databricks 区分了数据网格（data mesh）和数据编织（data fabric）这两种数据管理架构方法。数据网格将数据所有权去中心化给领域团队，由他们将数据视为产品，从而解决组织瓶颈。相反，数据编织是一个技术驱动的自动化层，通过元数据和机器学习统一分布式数据，解决技术碎片化问题。Databricks 建议，采用 Lakehouse 架构的混合方法，可以通过集中治理实现领域自主性，从而结合两者的优点。
-
Databricks 在 Lakehouse 中直接为 SQL 实现声明式 ETL 模式
Databricks 正在增强其 Lakehouse 平台，使 SQL 从业者能够直接在 SQL 查询中使用声明式模式进行 ETL 处理。此举旨在简化复杂的数据转换逻辑，允许用户在无需大量自定义编码的情况下定义仅追加更新、变更数据捕获 (CDC) 和批量覆盖。通过扩展 Apache Spark Declarative Pipelines 的声明式执行模型，Databricks 允许用户描述所需的数据表或视图，平台将负责调度、刷新和增量处理。
-
Databricks通过新功能简化SQL到Lakehouse的迁移
Databricks推出了新的SQL功能，旨在简化遗留数据仓库存储过程到其Lakehouse平台的迁移。这些增强功能旨在减少在Python和Apache Spark等语言中进行昂贵重写的需求，使SQL开发人员能够以最小的改动维护其现有的业务逻辑。关键改进包括对临时表和游标的支持，直接解决了常见的迁移障碍，并实现了与Unity Catalog等工具的更好集成，以增强治理和可发现性。
-
Databricks Feature Store 为 ML 模型实现亚秒级新鲜度
Databricks 增强了其 Feature Store，为机器学习模型提供亚秒级新鲜度，满足了欺诈检测和个性化等应用对实时数据的需求。更新后的 Feature Store 允许数据科学家一次定义特征，并在批量和实时管道中进行部署。它利用 Apache Spark Real-Time Mode、Lakebase 和 Model Serving，实现了从通过 Apache Kafka 进行数据摄取到特征可用性的端到端 p99 延迟为 …
-
Databricks 在湖仓一体中推出用于多模态数据的原生 FILE 类型
Databricks 推出了一项名为 FILE 类型的新测试版功能，旨在将文档、图像和视频等非结构化数据作为原生列存储在表中。这项创新旨在将多模态数据直接集成到湖仓一体中，使其能够与结构化数据一起进行查询、保护和管理。该公司正与社区合作，将 FILE 类型对 Apache Parquet 和 Delta Lake 的支持嵌入其中，以确保广泛的生态系统兼容性和数据可移植性。
-
Microsoft Fabric 通过 OneLake 集成 Lakehouse 和 Warehouse 选项
Microsoft Fabric 在统一平台中同时提供 Lakehouse 和 Warehouse 选项，并利用 OneLake 进行数据存储。Lakehouse 架构以 Apache Spark 和开放的 Delta Parquet 表为中心，非常适合处理非结构化和半结构化数据，并具备将原始文件解析和转换为结构化表的能力。这种方法允许通过 SQL 分析终结点直接查询，从而连接数据工程和 BI 报告。
-
Databricks 推出用于 SQL 代码迁移的 AI 代理
Databricks 推出了由 Genie Code 提供支持的代理代码转换器，以简化专有 SQL 方言到开放 ANSI SQL 的迁移。此 Beta 功能支持从 T-SQL、Snowflake、Redshift、Oracle、BigQuery 和 Teradata 进行转换。该工具可自动执行迁移规划、使用并行代理进行代码转换，并在 Databricks 工作空间内提供 lineage 跟踪来管理该过程。
-
Databricks MCP 服务器授予 AI 代理直接访问 Lakehouse 的权限
Databricks 发布了一款新工具 Databricks MCP 服务器，它允许 Claude 等 AI 代理直接访问和交互用户的数据 Lakehouse。此次集成支持对话式执行 Notebook、针对 Delta Lake 的 SQL 查询、计算资源管理以及数据沿袭和 MLflow 工件的检查。该工具旨在通过允许代理查询数据、检查作业状态和提取见解，而无需手动干预，从而简化数据分析和工程的 AI 工作流。
-
基于 MLOps 原则构建的酒店业 Lakehouse 数据平台
本文详细介绍了利用 Lakehouse 架构构建的酒店业数据平台。该平台旨在管理各种数据流，包括预订、收入、入住率、支付对账和需求预测。重点在于 MLOps 原则，以确保酒店业高效的数据管理和分析。
-
Databricks提供通过SQL、SDP或PySpark进行ETL迁移的框架
Databricks推出了一项新框架，旨在帮助组织迁移现有的ETL（提取、转换、加载）管道。该框架概述了三种主要的迁移路径：利用Databricks SQL处理以SQL为主的工作负载，采用Spark声明式管道（SDP）进行自动化编排和数据质量管理，或使用PySpark和Spark SQL笔记本进行复杂逻辑和自定义集成。这种方法鼓励采用分阶段迁移策略，而非一次性大规模切换，同时利用Lakebridge和AI辅助代码转换等工具来协助这一过程。
-
Databricks 概述现代数据管道架构和部署的最佳实践
Databricks 发布了一份关于数据管道最佳实践的综合指南，涵盖了架构、现代管道设计和部署策略。该指南强调了深思熟虑的架构选择对于可靠性和成本效益的重要性，包括在批处理和流式处理模式之间进行选择以及优化存储。它还强调了版本控制、CI/CD 和全面的监控等强大的运营实践对于生产就绪的必要性。
-
Databricks Lakebase 增加变更数据源，实现直接操作数据访问
Databricks 为其 Lakebase 产品推出了新的变更数据源 (CDF) 功能，现已公开预览。此功能允许各种引擎、模型和代理直接访问操作数据，无需复杂的、手动的数据管道。通过将 CDF 存储在 Unity Catalog 管理的表中，Lakebase 旨在简化面向代理开发的数据集成，并为整个数据生命周期提供统一的治理和血缘关系。
-
提出AI增强型湖仓架构以改进数据治理
一篇新论文提出了一种基于湖仓架构的AI增强型中心辐射模型，以应对企业数据平台的挑战。该方法使用一个中心枢纽进行AI赋能的治理，自动化标准化数据产品和起草数据合同等任务。特定领域的辐射节点管理业务语义并迭代开发数据产品，大型语言模型促进跨职能专业知识，自然语言接口使业务用户能够更广泛地访问数据。