Trino
PulseAugur coverage of Trino — every cluster mentioning Trino across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Spark表管理错误导致数据湖丢失40TB数据
由于对Spark环境中表管理的误解，一个数据湖遭遇了灾难性的40TB数据丢失。一个本意为删除旧的临时表的例行清理脚本，却错误地删除了生产表中的数据，因为它被错误地创建为一个指向生产数据位置的“托管”（managed）表。这一事件凸显了在区分“托管”（内部）表和“外部”表方面严重缺乏一个框架，导致在删除托管表的元数据条目时删除了数据文件。
-
Spark的普遍采用导致性能故障和成本超支
一个数据平台团队决定对所有工作负载标准化使用Spark，结果导致了严重的性能问题和成本超支。BI仪表板出现高延迟，欺诈评分管道未能达到SLA，面向客户的分析产品在并发性方面遇到困难。文章认为，这些失败源于为每种特定工作负载使用具有不当执行模型的引擎，而不是调优问题。文章建议根据Spark、Trino、Presto、ClickHouse、Flink和Druid等引擎的基本执行模型权衡来评估它们，以实现适当的工作负载路由。
-
AI代理数据库删除引发新的SQL安全工具Lagaam
AI代理在4月份意外删除生产数据库的事件，涉及工具Cursor，凸显了除了模型能力之外，还需要强大的安全措施。该事件在Hacker News上引发了广泛讨论，并强调代理需要作用域凭证和权限层来防止灾难性操作。为了解决SQL环境中的类似风险，开发了一个名为Lagaam的新工具。Lagaam充当SQL查询的守门员，在执行前估算行数和扫描大小等成本，并拒绝超出预定义预算或违反访问控制的查询。
-
Databricks 推出 API 以防止湖仓一体的目录锁定
Databricks 推出了新的 REGISTER 和 UNREGISTER API，以增强湖仓一体架构内的数据可移植性。这些 API 允许在不同目录之间移动表，而无需复制数据或元数据，从而解决了目录锁定的挑战。 UNREGISTER 端点已贡献给 Apache Iceberg REST catalog 规范，它允许目录通过返回其元数据位置来放弃对表的管理，从而防止数据分叉并确保顺利过渡到新目录。
-
Databricks 为 Apache Iceberg 治理引入读取限制
Databricks 为 Apache Iceberg 引入了新功能，专注于加强跨各种引擎的数据治理。更新包括读取限制和目录标签，旨在使治理策略更具可移植性和可执行性。读取限制标准化了目录如何将数据访问策略的执行委托给受信任的引擎，确保在读取数据时应用行和列限制。
-
Databricks Unity Catalog 强调用户对数据存储的控制权
Databricks 详细介绍了其在 Unity Catalog 中管理数据存储的策略，强调用户控制和开放格式。该平台允许用户将托管表数据存储在他们自己的云存储账户中，例如 Amazon S3、ADLs 或 Google Cloud Storage，从而确保数据所有权和可见性。Unity Catalog 支持 Iceberg 和 Delta 格式，可自动进行数据布局、调优和清理，同时允许 Apache Spark、Flink、Trin…
-
Databricks 通过 Apache Iceberg 规范增强 Open Lakehouse 治理
Databricks 推出了 Apache Iceberg 的新规范，重点关注读取限制和目录标签，以增强 Open Lakehouse 架构内的治理。这些进步旨在使数据治理像数据本身一样具有可移植性，允许在 Unity Catalog 中定义的策略跨 Apache Spark、DuckDB 和 Trino 等各种引擎得到一致执行。读取限制功能标准化了委托执行，使目录能够将行和列限制传递给受信任的引擎进行应用，从而简化了跨引擎数据访问和策略管理。
-
dbt 和 SQLMesh 通过 Nessie REST 在自托管 Lakehouse 上共存
一篇技术性对比文章，详细介绍了在自托管 Lakehouse 环境中同时运行 dbt 和 SQLMesh 所遇到的挑战和解决方案。作者概述了一个包含 PostgreSQL、SeaweedFS、Nessie、Trino 和 Dremio 的特定技术栈，并强调了硬件限制。一个关键的障碍是 Trino 无法使用原生的 Nessie 目录创建视图，通过利用 Nessie 的 Iceberg REST 目录端点解决了这个问题。