Department for Business and Trade
PulseAugur coverage of Department for Business and Trade — every cluster mentioning Department for Business and Trade across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
利用原生数据库元数据作为AI代理的轻量级语义层
一种新方法建议利用数据仓库的原生元数据和功能作为AI代理的轻量级语义层，而不是采用Cube.dev等专用工具或构建自定义框架。该方法包括创建具有清晰业务逻辑和定义的精选视图，并使用视图和列上的注释为代理提供上下文。通过利用主键和外键，并确保列名清晰易懂，这种策略可以显著提高代理发现和查询数据的准确性，有可能在极短的实现时间内实现近乎完美的表查找结果。
-
英国政府将英国钢铁公司国有化，驱逐中国所有者
英国政府已将英国钢铁公司国有化，从其中国所有者敬业集团手中接管控制权，以保住就业岗位和国家钢铁生产能力。此举旨在确保国内钢铁供应，满足建筑和国防等关键行业的需要。政府现在将致力于稳定公司业务，并发展一个可持续的、脱碳的钢铁产业。
-
Databricks 推出查询标签以实现 dbt 管道成本归因
Databricks 推出了查询标签（Query Tags），这是一项处于公开预览阶段的新功能，可让数据团队深入了解 dbt 管道的使用情况。此功能会自动注入 dbt 模型名称等元数据，并允许用户添加自定义标签以用于成本中心、团队和环境。这些标签会记录在 `system.query.history` 中，通过简单的 SQL 查询或使用 Databricks 的 Genie 助手，可以方便地进行成本归因、性能调试和工作负载监控。
-
神经多样性工作者对 AI 工具的满意度更高
英国商业和贸易部的一项最新研究表明，包括 ADHD、自闭症和阅读障碍在内的神经多样性专业人士，对 ChatGPT、Gemini 和 Copilot 等 AI 工具的满意度更高。与神经典型同事相比，这些人对 AI 应用的满意度高出 25%。研究表明，AI 正在成为增强神经多样性工作者的可访问性、提高生产力和培养自信心的重要催化剂。
-
AI生成的SQL面临信任危机；新工具旨在提高准确性
AI生成的SQL代码日益普及，但由于潜在的不准确性和验证复杂查询的难度，开发者之间存在严重的信任赤字。虽然AI可以协助构思和分解需求，但其概率性使其不适合直接生成最终代码。一种新方法，以SQLazy为例，将AI的角色分离为逻辑分解，并使用确定性编译器生成可审计、可投入生产的SQL，旨在结合AI的效率和保证的准确性。
-
SchemaBrain 提供安全的 AI 到数据库意图编译
SchemaBrain 是一款旨在弥合 AI 代理与生产数据库之间差距的新工具，解决了直接 SQL 访问的局限性。该系统将 AI 代理的意图编译成安全的、参数化的 SQL 查询，防止代理直接执行任意 SQL。它还包括在查询运行前拒绝个人身份信息 (PII) 和数据泄露的检查，确保与 PostgreSQL 等数据库进行更安全、更可靠的交互。
-
Text-to-SQL LLM 风险：数据泄露和成本超支
Text-to-SQL 是一个已解决的问题的观念是一个危险的迷思，因为 LLM 会生成非确定性的 SQL 查询，对敏感数据构成风险。将整个模式馈送给 LLM 或使用语义代理层等方法可能导致数据损坏或上下文窗口限制等问题。一个更健壮的解决方案涉及一个“硬门控 SQL 沙盒”，它使用抽象语法树 (AST) 验证器在执行前检查生成的 SQL 是否存在未经授权的访问或连接，同时在数据库层面进行资源治理以防止过度的计算成本。
-
使用 DuckDB 和 dbt 构建印度尼西亚地震监测管道
一位数据工程师为印度尼西亚开发了一个生产级地震监测管道，利用了 DuckDB、dbt 和 GitHub Actions 等工具。该系统通过保存原始数据快照以实现可审计性和可恢复性来解决无状态 API 的挑战。它还实现了去重和可观测性，以确保数据质量和可靠性。
-
Databricks 添加查询标签以提供 SQL 查询上下文和成本归属
Databricks 推出了查询标签（Query Tags），这是一项处于公开预览阶段的新功能，允许用户为 SQL 查询附加自定义元数据。这些标签可以实现更好的成本归属、追踪来自 dbt、PowerBI 和 Tableau 等合作伙伴工具的查询，以及标记内部工作负载。该功能旨在提供标准查询日志中通常缺失的关键上下文，从而实现更细粒度的分析和故障排除。
-
Data Workers 采用 Anthropic 的 MCP 来集成 AI 代理工具
Data Workers 已采用模型上下文协议 (MCP) 来使其 AI 代理能够连接到数据堆栈中的各种工具，并指出其效率优于自定义集成。该协议最初由 Anthropic 开发，目前支持超过 12,230 个服务器，为代理提供了快速原型设计和可组合性。然而，在可扩展身份验证、延迟、服务器质量差异以及管理有状态工作流等领域仍存在挑战。
-
Snowflake 安全指南详述 AI 代理数据访问控制
本文概述了一种为 AI 代理（如 Claude）提供对 Snowflake 中敏感数据访问权限的五层安全策略，同时不损害个人身份信息 (PII)。文章详细介绍了如何为 AI 代理创建专用的只读角色，实施列级掩码策略以隐藏敏感数据，并利用行访问策略限制数据可见性。该策略还强调了强大的审计日志记录，以跟踪所有代理查询，确保符合 GDPR 和 HIPAA 等法规。
-
dbt 和 Databricks 在企业分析中的扩展挑战详解
本文详细介绍了在大型企业分析环境中实施 dbt 和 Databricks 所面临的挑战和解决方案。文章强调了初步的概念验证可能掩盖在生产规模下出现的复杂性，尤其是在成本优化、治理和可审计性方面。文章为数据平台负责人、分析工程师和架构师提供了在这些严苛环境下构建可靠且具成本效益的数据管道的见解。
-
dbt 和 SQLMesh 通过 Nessie REST 在自托管 Lakehouse 上共存
一篇技术性对比文章，详细介绍了在自托管 Lakehouse 环境中同时运行 dbt 和 SQLMesh 所遇到的挑战和解决方案。作者概述了一个包含 PostgreSQL、SeaweedFS、Nessie、Trino 和 Dremio 的特定技术栈，并强调了硬件限制。一个关键的障碍是 Trino 无法使用原生的 Nessie 目录创建视图，通过利用 Nessie 的 Iceberg REST 目录端点解决了这个问题。
-
数据工程学生使用 Spark、Kafka、Airflow 构建生产级基础设施
数据工程 Zoomcamp 在 10 周后圆满结束，学员们从基础脚本编写进步到设计复杂系统。该项目专注于使用 Spark、Kafka 和 Airflow 等工具构建生产级基础设施。一个毕业项目涉及创建一个存储硬盘仪表板，该仪表板利用了 Backblaze 的真实故障数据，并采用了 Terraform、Docker、dbt 和 Streamlit 等技术。
-
英国政府AI概览用过时数据误导公众
Google等搜索引擎生成的AI概览因GOV.UK页面内容过时，正在向英国公民提供不准确的信息。商业和贸易部的内容设计师发现，之前未被注意到的、未维护的旧页面现在被抓取和总结，导致政府服务的错误数据。这种错误信息有可能侵蚀公众对政府服务的信任，因此正努力审计和重定向过时页面，并为内容实施定期审查周期。