Department for Business and Trade
PulseAugur coverage of Department for Business and Trade — every cluster mentioning Department for Business and Trade across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Atlan构建超越数据目录的“上下文智能引擎”
对Atlan架构的技术研究表明，该公司正在构建一个“上下文智能引擎”，而不是传统的数据目录。该系统似乎采用了六层架构，专注于性能是智能和上下文的函数的原则。关键特性包括用于获取谱系、权限和质量信号的统一GraphQL API，以及用于实时RBAC检查和批量数据加载的“解析器层”，旨在通过提供全面的上下文信息来减少AI幻觉。
-
Databricks 推出查询标签以实现 dbt 管道成本归因
Databricks 推出了查询标签（Query Tags），这是一项新的公共预览功能，旨在增强 dbt 管道的精细化使用归因。该功能允许数据团队自动注入元数据或为管道生成的每个查询添加自定义标签。这些标签会记录在 `system.query.history` 中，通过简单的 SQL 查询即可轻松实现成本归因、性能调试和工作负载监控。dbt-databricks 适配器原生支持查询标签，提供自动注入的标签以实现无需配置的每个模型可见性…
-
Snowflake、Databricks 尽管拥有原生工具，但在数据质量方面仍面临挑战
尽管 Snowflake 和 Databricks 等平台在原生数据质量功能方面取得了进展，但组织仍然因数据质量差而遭受重大经济损失。一个关键问题是平台质量（确认管道和作业成功运行）与数据真相（确保数据从源头到决策的准确性和完整性）之间的区别。独立验证至关重要，因为现代数据平台存在信任边界，这意味着它们无法独立验证所有系统和转换中的数据完整性。这需要一个外部层来确认数据在其整个生命周期中保持准确和一致。
-
开发者为 3100 万条股票数据记录构建了 AI 可访问的 SQL 服务器
一位开发者创建了 Shibui Finance，一个 MCP 服务器，为 Claude 等 AI 模型提供对海量美国股市信息数据集的直接 SQL 访问。该系统从商业 API、SEC EDGAR 文件和 FRED 等各种来源摄取数据，通过 PostgreSQL 和 dbt 进行处理，然后导出到 DuckDB。这种架构允许高效查询 3100 万条价格记录、季度财务数据、技术指标和 SEC 文件数据，通过预先计算指标将查询时间从几分钟缩短到几毫秒。
-
特征存储重构缩短部署时间和成本
本文讨论了使用 dbt 重构特征存储以创建统一骨干的好处。通过整合特征逻辑，部署时间从几小时显著缩短到几分钟，并降低了基础设施成本。作者强调了构建一次特征并在各种应用程序中复用的重要性。
-
空中客车公司测试下一代飞机先进高展弦比机翼
空中客车公司已启动其“明日之翼”项目的新的飞行测试活动，旨在评估未来单通道飞机的长翼展机翼。在未来三年内，全尺寸机翼延伸件将安装在一架A321neo上，以在实际飞行条件下评估其性能和对飞机操控的影响。该计划旨在通过探索更长、更轻、更细长的机翼设计，在先前的地面演示器和大量政府资助的基础上，最大限度地提高空气动力学效率并减少燃油消耗。
-
Claude AI 与 dbt 项目集成，实现自然语言数据模型查询
一项新的集成允许用户将 Anthropic 的 Claude AI 模型连接到他们的 dbt 项目，从而能够就数据模型和 lineage 进行自然语言查询。这种连接由 dbt MCP 服务器促进，该服务器充当 Claude 和 dbt CLI 之间的桥梁。用户可以要求 Claude 直接在其 dbt 环境中执行诸如编译模型、运行测试和诊断错误等操作，并使用项目的 manifest.json 文件作为上下文。
-
利用原生数据库元数据作为AI代理的轻量级语义层
一种新方法建议利用数据仓库的原生元数据和功能作为AI代理的轻量级语义层，而不是采用Cube.dev等专用工具或构建自定义框架。该方法包括创建具有清晰业务逻辑和定义的精选视图，并使用视图和列上的注释为代理提供上下文。通过利用主键和外键，并确保列名清晰易懂，这种策略可以显著提高代理发现和查询数据的准确性，有可能在极短的实现时间内实现近乎完美的表查找结果。
-
英国政府将英国钢铁公司国有化，驱逐中国所有者
英国政府已将英国钢铁公司国有化，从其中国所有者敬业集团手中接管控制权，以保住就业岗位和国家钢铁生产能力。此举旨在确保国内钢铁供应，满足建筑和国防等关键行业的需要。政府现在将致力于稳定公司业务，并发展一个可持续的、脱碳的钢铁产业。
-
Databricks 推出查询标签以实现 dbt 管道成本归因
Databricks 推出了查询标签（Query Tags），这是一项处于公开预览阶段的新功能，可让数据团队深入了解 dbt 管道的使用情况。此功能会自动注入 dbt 模型名称等元数据，并允许用户添加自定义标签以用于成本中心、团队和环境。这些标签会记录在 `system.query.history` 中，通过简单的 SQL 查询或使用 Databricks 的 Genie 助手，可以方便地进行成本归因、性能调试和工作负载监控。
-
神经多样性工作者对 AI 工具的满意度更高
英国商业和贸易部的一项最新研究表明，包括 ADHD、自闭症和阅读障碍在内的神经多样性专业人士，对 ChatGPT、Gemini 和 Copilot 等 AI 工具的满意度更高。与神经典型同事相比，这些人对 AI 应用的满意度高出 25%。研究表明，AI 正在成为增强神经多样性工作者的可访问性、提高生产力和培养自信心的重要催化剂。
-
AI生成的SQL面临信任危机；新工具旨在提高准确性
AI生成的SQL代码日益普及，但由于潜在的不准确性和验证复杂查询的难度，开发者之间存在严重的信任赤字。虽然AI可以协助构思和分解需求，但其概率性使其不适合直接生成最终代码。一种新方法，以SQLazy为例，将AI的角色分离为逻辑分解，并使用确定性编译器生成可审计、可投入生产的SQL，旨在结合AI的效率和保证的准确性。
-
SchemaBrain 提供安全的 AI 到数据库意图编译
SchemaBrain 是一款旨在弥合 AI 代理与生产数据库之间差距的新工具，解决了直接 SQL 访问的局限性。该系统将 AI 代理的意图编译成安全的、参数化的 SQL 查询，防止代理直接执行任意 SQL。它还包括在查询运行前拒绝个人身份信息 (PII) 和数据泄露的检查，确保与 PostgreSQL 等数据库进行更安全、更可靠的交互。
-
Text-to-SQL LLM 风险：数据泄露和成本超支
Text-to-SQL 是一个已解决的问题的观念是一个危险的迷思，因为 LLM 会生成非确定性的 SQL 查询，对敏感数据构成风险。将整个模式馈送给 LLM 或使用语义代理层等方法可能导致数据损坏或上下文窗口限制等问题。一个更健壮的解决方案涉及一个“硬门控 SQL 沙盒”，它使用抽象语法树 (AST) 验证器在执行前检查生成的 SQL 是否存在未经授权的访问或连接，同时在数据库层面进行资源治理以防止过度的计算成本。
-
使用 DuckDB 和 dbt 构建印度尼西亚地震监测管道
一位数据工程师为印度尼西亚开发了一个生产级地震监测管道，利用了 DuckDB、dbt 和 GitHub Actions 等工具。该系统通过保存原始数据快照以实现可审计性和可恢复性来解决无状态 API 的挑战。它还实现了去重和可观测性，以确保数据质量和可靠性。
-
Databricks 添加查询标签以提供 SQL 查询上下文和成本归属
Databricks 推出了查询标签（Query Tags），这是一项处于公开预览阶段的新功能，允许用户为 SQL 查询附加自定义元数据。这些标签可以实现更好的成本归属、追踪来自 dbt、PowerBI 和 Tableau 等合作伙伴工具的查询，以及标记内部工作负载。该功能旨在提供标准查询日志中通常缺失的关键上下文，从而实现更细粒度的分析和故障排除。
-
Data Workers 采用 Anthropic 的 MCP 来集成 AI 代理工具
Data Workers 已采用模型上下文协议 (MCP) 来使其 AI 代理能够连接到数据堆栈中的各种工具，并指出其效率优于自定义集成。该协议最初由 Anthropic 开发，目前支持超过 12,230 个服务器，为代理提供了快速原型设计和可组合性。然而，在可扩展身份验证、延迟、服务器质量差异以及管理有状态工作流等领域仍存在挑战。
-
Snowflake 安全指南详述 AI 代理数据访问控制
本文概述了一种为 AI 代理（如 Claude）提供对 Snowflake 中敏感数据访问权限的五层安全策略，同时不损害个人身份信息 (PII)。文章详细介绍了如何为 AI 代理创建专用的只读角色，实施列级掩码策略以隐藏敏感数据，并利用行访问策略限制数据可见性。该策略还强调了强大的审计日志记录，以跟踪所有代理查询，确保符合 GDPR 和 HIPAA 等法规。
-
dbt 和 Databricks 在企业分析中的扩展挑战详解
本文详细介绍了在大型企业分析环境中实施 dbt 和 Databricks 所面临的挑战和解决方案。文章强调了初步的概念验证可能掩盖在生产规模下出现的复杂性，尤其是在成本优化、治理和可审计性方面。文章为数据平台负责人、分析工程师和架构师提供了在这些严苛环境下构建可靠且具成本效益的数据管道的见解。
-
dbt 和 SQLMesh 通过 Nessie REST 在自托管 Lakehouse 上共存
一篇技术性对比文章，详细介绍了在自托管 Lakehouse 环境中同时运行 dbt 和 SQLMesh 所遇到的挑战和解决方案。作者概述了一个包含 PostgreSQL、SeaweedFS、Nessie、Trino 和 Dremio 的特定技术栈，并强调了硬件限制。一个关键的障碍是 Trino 无法使用原生的 Nessie 目录创建视图，通过利用 Nessie 的 Iceberg REST 目录端点解决了这个问题。