iceberg
PulseAugur coverage of iceberg — every cluster mentioning iceberg across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Onehouse.ai 发布 Lakegres,支持在 Open、Hudi、Iceberg 表上进行向量搜索
Onehouse.ai 推出了 Lakegres,这是一款新工具,可以直接在 Open、Hudi 和 Iceberg 表格式中存储的现有数据上实现向量搜索功能。此次集成旨在简化对大型数据集执行语义搜索的过程,而无需复杂的数据迁移或专门的基础设施。
-
Databricks、Google Cloud 合作实现数据目录互操作性
Databricks 和 Google Cloud 正在通过允许客户在两个平台之间访问数据的单一副本而无需复制来增强数据互操作性。此次合作侧重于开放标准,使用户能够查询 Google Cloud 的 BigQuery 内的 Databricks Unity Catalog 中的数据,反之亦然。该计划旨在使目录元数据(包括治理语义和数据标签)在不同系统之间可访问,这对于人工智能代理和不断增长的数据资产中的数据治理至关重要。
-
Databricks 澄清 LTAP 架构,消除复制误解
Databricks 正在澄清其 Lakebase 解决方案的架构,特别是针对围绕其 LTAP(基于日志的持久数据事务访问)设计的误解。该公司声称 LTAP 不是一种复制形式,而是一个分层系统,其中数据湖充当数据库的存储,而不是副本。这种方法允许通过 PostgreSQL 缓存进行快速点查找,并对 Delta 或 Iceberg 表进行高效的分析扫描,从而确保数据一致性,而无需复杂的变更数据捕获 (CDC) 管道。
-
Databricks OpenSharing 以实时表读取取代数据复制
Databricks 推出了 OpenSharing,这是一种旨在取代传统文件和 API 数据源的新协议。该系统允许接收者直接从提供商的存储中实时读取共享数据,无需复制数据、进行计划导出或执行复杂的对账作业。OpenSharing 利用 Delta Lake 和 Iceberg 等开放表格式,使接收者能够通过更改数据源 (Change Data Feed) 访问具有行级更改的实时数据流,从而简化数据摄取并降低运营开销。
-
Databricks 详细介绍用于数据资产协作的 OpenSharing、Clean Rooms 和 Marketplace
Databricks 提供三种不同的数据和 AI 资产共享工具:OpenSharing、Clean Rooms 和 Marketplace。OpenSharing 为已知接收者(即使不在 Databricks 上)提供对数据资产的实时只读访问,并兼容 Power BI 和 Tableau 等 BI 工具。Clean Rooms 允许多方合并他们的数据并运行批准的代码,而无需暴露原始数据,适用于协作分析。Marketplace 旨在发现…
-
Databricks AI Search 增加了对 Streaming Tables 和 Iceberg 的实时智能支持
Databricks 增强了其 AI Search 功能,以支持实时智能特性。此次更新允许 Databricks AI Search 使用 Iceberg 格式的 Streaming Tables、Materialized Views 和 Managed tables。这些进步旨在为用户提供更动态、更及时的数据洞察。
-
Databricks 通过实时智能功能增强 AI Search,并提供免费教育平台
Databricks 通过集成对 Iceberg 格式内的 Streaming Tables、Materialized Views 和 Managed tables 的支持,正在增强其 AI Search 功能。这一进步通过实现实时数据处理和分析,为创建实时智能系统提供了可能。此外,Databricks 还提供免费版,为教育目的提供其企业级平台访问权限,使教师能够使用与生产环境中部署的相同工具来教授完整的数据或 AI 课程。
-
Databricks AI Search 新增对流式表、Iceberg 的原生支持
Databricks 增强了其 AI Search 功能,以原生支持三种新的数据源:流式表(Streaming Tables)、物化视图(Materialized Views)以及使用 Iceberg v3+ 的托管表(Managed tables)。此次集成允许用户直接将实时数据、个性化上下文和开放格式数据整合到其 AI 搜索应用程序中,无需单独的数据同步管道。此次更新旨在通过实现统一的工作流程,无论通过 UI 还是 API 访问,…
-
使用 Spark、Iceberg 和开源工具实现端到端数据沿袭
本文讨论了使用 Apache Spark 和 Iceberg 实现端到端数据沿袭,并集成了 OpenLineage、OpenMetadata 和 Marquez 等工具。它旨在通过跟踪数据从其起源到当前状态的旅程来提供数据管道的透明度。重点是建立对系统中数据流和转换的全面视图。
-
Databricks Unity Catalog 强调用户对数据存储的控制权
Databricks 详细介绍了其在 Unity Catalog 中管理数据存储的策略,强调用户控制和开放格式。该平台允许用户将托管表数据存储在他们自己的云存储账户中,例如 Amazon S3、ADLs 或 Google Cloud Storage,从而确保数据所有权和可见性。Unity Catalog 支持 Iceberg 和 Delta 格式,可自动进行数据布局、调优和清理,同时允许 Apache Spark、Flink、Trin…
-
LLM在数据准确性方面遇到困难,在企业工作负载上准确率低于21%
将Claude和GPT-4等大型语言模型连接到数据源会产生出人意料的低准确率,在复杂企业工作负载上的准确率通常低于21%。这是因为模型难以理解模糊的字段定义,并且缺乏人类分析师的上下文理解能力。虽然连接器可以提供令人印象深刻的初步演示,但要获得可靠的结果,还需要强大的语义层、受治理的数据集和严格的评估工具,这些对于弥合原始数据访问与准确见解之间的差距至关重要。
-
组织数据层级:从数据目录到人工智能平台
本文探讨了数据管理技术(包括数据湖、湖仓一体、Iceberg 和 RDBMS)的组织方式,并将其划分为不同的层级。文章旨在提供一个理解这些组件的框架,从数据目录的角度出发,构建一个适合人工智能时代的综合性数据与人工智能平台。
-
Databricks 使 Variant 数据类型正式可用,以加快数据摄取速度
Databricks 宣布其 Variant 数据类型现已正式可用,旨在改进半结构化数据的摄取和查询。此功能与 Variant Shredding 一起,使用预测性优化来提高查询性能,与将数据存储为字符串相比,读取速度提高了 30 倍。已有超过 5,000 个团队使用 Variant 来摄取来自各种数据库的流式事件、API 负载和无模式数据,从而消除了数据模式化的前期成本。
-
机器学习和数据湖的数据版本控制工具评测
本文对机器学习和数据湖的数据版本控制工具进行了实用性概述。文章考察了 Dolt、DVC、Delta Lake、Iceberg、Hudi 和 lakeFS 等平台,深入探讨了它们有效管理和分析数据的能力。本次评测旨在帮助用户了解在 MLOps 工作流中进行可靠数据版本控制的可用选项。
-
GitLake 为代理湖仓引入 Git 数据版本管理
研究人员推出 GitLake,一个旨在为面向代理的湖仓提供 Git 数据版本管理解决方案的新颖系统。该系统通过提升单表 Iceberg 快照,实现了湖仓范围内的提交、分支和合并。GitLake 允许代理在隔离的分支上运行,并由人工审核和发布更改。它还支持在临时分支上运行的管道,并进行原子化发布,确保所有输出同时可见或都不可见。
-
Databricks 旨在通过新的 LTAP 基础设施弥合 AI 代理与业务之间的差距
Databricks 致力于弥合 AI 代理与业务理解之间的差距,正如在其 Data + AI Summit 2026 上所强调的那样。一项重要公告是 Lake Transactional/Analytical Processing (LTAP),这是一项旨在统一 Databricks Lakehouse 内的操作和分析数据的基础设施开发。这旨在消除对复杂数据管道的需求并确保数据一致性。
-
AWS 事件驱动数据管道利用 Lambda、dlt 和 Iceberg
本文详细介绍了在 AWS 上构建的事件驱动数据管道架构,旨在克服传统基于 cron 作业的管道的局限性。所提出的解决方案使用 AWS Lambda、dlt 和 Iceberg 在数据到达 S3 存储桶时自动处理数据,适应模式变化和不断变化的数据量。关键组件包括用于跟踪新文件的 S3 Inventory、用于在数据着陆时触发 Lambda 函数的 EventBridge,以及用于将 JSON 数据规范化为存储在 S3 Table 中的演…
-
Text-to-SQL LLM 风险:数据泄露和成本超支
Text-to-SQL 是一个已解决的问题的观念是一个危险的迷思,因为 LLM 会生成非确定性的 SQL 查询,对敏感数据构成风险。将整个模式馈送给 LLM 或使用语义代理层等方法可能导致数据损坏或上下文窗口限制等问题。一个更健壮的解决方案涉及一个“硬门控 SQL 沙盒”,它使用抽象语法树 (AST) 验证器在执行前检查生成的 SQL 是否存在未经授权的访问或连接,同时在数据库层面进行资源治理以防止过度的计算成本。
-
Cranium AI 收购 Aiceberg 以增强自主 AI 代理治理
Cranium AI 已收购专注于自主 AI 代理的公司 Aiceberg。此次收购旨在增强 Cranium AI 在代理式 AI 治理方面的能力。此举预计将巩固 Cranium AI 在快速发展的人工智能领域的实力。
-
dbt 和 SQLMesh 通过 Nessie REST 在自托管 Lakehouse 上共存
一篇技术性对比文章,详细介绍了在自托管 Lakehouse 环境中同时运行 dbt 和 SQLMesh 所遇到的挑战和解决方案。作者概述了一个包含 PostgreSQL、SeaweedFS、Nessie、Trino 和 Dremio 的特定技术栈,并强调了硬件限制。一个关键的障碍是 Trino 无法使用原生的 Nessie 目录创建视图,通过利用 Nessie 的 Iceberg REST 目录端点解决了这个问题。