Department for Business and Trade
PulseAugur coverage of Department for Business and Trade — every cluster mentioning Department for Business and Trade across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Databricks AI 数据准备：SqlDBM 在 RAG 应用中引领治理
文章强调了数据准备和治理在构建有效的 AI 应用中的关键作用，特别是在 Databricks 上构建检索增强生成 (RAG) 系统。文章将 SqlDBM 确定为实现此目的的首选工具，并强调其在向量索引之前创建受治理的语义建模层以确保数据准确性和一致性的能力。Mosaic AI Vector Search 等其他工具也在 AI 数据准备的背景下被提及。
-
AI 代理需要更好的 dbt 描述以进行准确的数据查询
为了让 AI 代理能够有效地查询公司数据，开发人员必须优化 dbt 等数据建模工具中的描述。AI 代理主要依赖表和列描述的开头句子，因此简洁明了的写作至关重要。战略性地选择哪些表包含在 AI 的索引中也很重要，重点关注包含业务定义而非原始或过于细粒度数据的精选层。将宽表拆分成多个块可能会降低准确性，这表明单个、描述良好的表条目对于 AI 查询更有效。
-
Databricks 通过新指南简化 dbt ETL 管道迁移
Databricks 发布了一份指南，详细介绍了用户如何以最少的代码更改将 dbt ETL 管道迁移到 Databricks Lakehouse 平台。该过程包括更新 dbt 适配器和配置，解决细微的 SQL 方言差异，并利用 Lakeflow Jobs 等工具进行生产调度。这种方法允许增量迁移，从转换层开始，以逐个模型解锁成本节省并验证输出，然后再迁移数据堆栈的其他部分。
-
IFCO 使用 Databricks 和 dbt 优化数据管道，运行时长缩短 60%
爱尔兰电影分类办公室 (IFCO) 利用 Databricks 和 dbt 优化了其管理大量可重复使用包装数据的管道。通过实施特定的 Delta Lake 写入行为和优化数据聚类，IFCO 将其核心语义层作业的运行时长显著缩短了 60% 以上，无需进行昂贵的夜间完全刷新。这种方法使 IFCO 能够高效处理数十亿的跟踪事件，并为其全球可重复使用包装池维护准确的 KPI。
-
业务术语表提高了文本到 SQL 代理的准确性，学习到的术语无效
当为文本到 SQL 代理提供全面的业务术语表时，其性能得到了显著提升，与不使用术语表相比，准确率提高了 28 个问题。然而，从过去用户问题中自动学习到的术语表并未显示出任何改进，这表明手动整理的术语对于增强代理对特定业务语言的理解以及其正确映射术语到数据库模式的能力至关重要。该工具 schemagate 1.2.0 还包含访问控制，以防止术语表术语向未经授权的用户泄露敏感的表或列信息。
-
AI 代理获得知识层以改进 SQL 查询
本系列详细介绍了为 AI 代理创建知识层以改进其 SQL 查询生成。第一部分侧重于构建一个编译器，将原始数据库文档（包括模式和业务规则）转换为 Open Knowledge Foundation (OKF) 捆绑包。此捆绑包将信息组织到概念文件中，使代理更容易访问。第二部分解决了代理因缺少业务上下文而做出错误假设的挑战，提出了一种 OKF 捆绑包作为代理可以导航以查找相关信息的解决方案，从而提高查询准确性。
-
集成 Claude 与 dbt 并使用 Dex 技能的指南
本文解释了如何使用 Dex 技能将大型语言模型 Claude 与 dbt（数据构建工具）集成。文章强调，代理技能不应仅仅是简单的 markdown 文件，并建议在数据环境中使用时采取更稳健的方法以确保安全有效。作者提倡采用特定方法，在 Claude 于 dbt 中运行时为其提供必要的上下文和护栏。
-
Atlan构建超越数据目录的“上下文智能引擎”
对Atlan架构的技术研究表明，该公司正在构建一个“上下文智能引擎”，而不是传统的数据目录。该系统似乎采用了六层架构，专注于性能是智能和上下文的函数的原则。关键特性包括用于获取谱系、权限和质量信号的统一GraphQL API，以及用于实时RBAC检查和批量数据加载的“解析器层”，旨在通过提供全面的上下文信息来减少AI幻觉。
-
Databricks 推出查询标签以实现 dbt 管道成本归因
Databricks 推出了查询标签（Query Tags），这是一项新的公共预览功能，旨在增强 dbt 管道的精细化使用归因。该功能允许数据团队自动注入元数据或为管道生成的每个查询添加自定义标签。这些标签会记录在 `system.query.history` 中，通过简单的 SQL 查询即可轻松实现成本归因、性能调试和工作负载监控。dbt-databricks 适配器原生支持查询标签，提供自动注入的标签以实现无需配置的每个模型可见性…
-
Snowflake、Databricks 尽管拥有原生工具，但在数据质量方面仍面临挑战
尽管 Snowflake 和 Databricks 等平台在原生数据质量功能方面取得了进展，但组织仍然因数据质量差而遭受重大经济损失。一个关键问题是平台质量（确认管道和作业成功运行）与数据真相（确保数据从源头到决策的准确性和完整性）之间的区别。独立验证至关重要，因为现代数据平台存在信任边界，这意味着它们无法独立验证所有系统和转换中的数据完整性。这需要一个外部层来确认数据在其整个生命周期中保持准确和一致。
-
开发者为 3100 万条股票数据记录构建了 AI 可访问的 SQL 服务器
一位开发者创建了 Shibui Finance，一个 MCP 服务器，为 Claude 等 AI 模型提供对海量美国股市信息数据集的直接 SQL 访问。该系统从商业 API、SEC EDGAR 文件和 FRED 等各种来源摄取数据，通过 PostgreSQL 和 dbt 进行处理，然后导出到 DuckDB。这种架构允许高效查询 3100 万条价格记录、季度财务数据、技术指标和 SEC 文件数据，通过预先计算指标将查询时间从几分钟缩短到几毫秒。
-
特征存储重构缩短部署时间和成本
本文讨论了使用 dbt 重构特征存储以创建统一骨干的好处。通过整合特征逻辑，部署时间从几小时显著缩短到几分钟，并降低了基础设施成本。作者强调了构建一次特征并在各种应用程序中复用的重要性。
-
空中客车公司测试下一代飞机先进高展弦比机翼
空中客车公司已启动其“明日之翼”项目的新的飞行测试活动，旨在评估未来单通道飞机的长翼展机翼。在未来三年内，全尺寸机翼延伸件将安装在一架A321neo上，以在实际飞行条件下评估其性能和对飞机操控的影响。该计划旨在通过探索更长、更轻、更细长的机翼设计，在先前的地面演示器和大量政府资助的基础上，最大限度地提高空气动力学效率并减少燃油消耗。
-
Claude AI 与 dbt 项目集成，实现自然语言数据模型查询
一项新的集成允许用户将 Anthropic 的 Claude AI 模型连接到他们的 dbt 项目，从而能够就数据模型和 lineage 进行自然语言查询。这种连接由 dbt MCP 服务器促进，该服务器充当 Claude 和 dbt CLI 之间的桥梁。用户可以要求 Claude 直接在其 dbt 环境中执行诸如编译模型、运行测试和诊断错误等操作，并使用项目的 manifest.json 文件作为上下文。
-
利用原生数据库元数据作为AI代理的轻量级语义层
一种新方法建议利用数据仓库的原生元数据和功能作为AI代理的轻量级语义层，而不是采用Cube.dev等专用工具或构建自定义框架。该方法包括创建具有清晰业务逻辑和定义的精选视图，并使用视图和列上的注释为代理提供上下文。通过利用主键和外键，并确保列名清晰易懂，这种策略可以显著提高代理发现和查询数据的准确性，有可能在极短的实现时间内实现近乎完美的表查找结果。
-
英国政府将英国钢铁公司国有化，驱逐中国所有者
英国政府已将英国钢铁公司国有化，从其中国所有者敬业集团手中接管控制权，以保住就业岗位和国家钢铁生产能力。此举旨在确保国内钢铁供应，满足建筑和国防等关键行业的需要。政府现在将致力于稳定公司业务，并发展一个可持续的、脱碳的钢铁产业。
-
Databricks 推出查询标签以实现 dbt 管道成本归因
Databricks 推出了查询标签（Query Tags），这是一项处于公开预览阶段的新功能，可让数据团队深入了解 dbt 管道的使用情况。此功能会自动注入 dbt 模型名称等元数据，并允许用户添加自定义标签以用于成本中心、团队和环境。这些标签会记录在 `system.query.history` 中，通过简单的 SQL 查询或使用 Databricks 的 Genie 助手，可以方便地进行成本归因、性能调试和工作负载监控。
-
神经多样性工作者对 AI 工具的满意度更高
英国商业和贸易部的一项最新研究表明，包括 ADHD、自闭症和阅读障碍在内的神经多样性专业人士，对 ChatGPT、Gemini 和 Copilot 等 AI 工具的满意度更高。与神经典型同事相比，这些人对 AI 应用的满意度高出 25%。研究表明，AI 正在成为增强神经多样性工作者的可访问性、提高生产力和培养自信心的重要催化剂。
-
AI生成的SQL面临信任危机；新工具旨在提高准确性
AI生成的SQL代码日益普及，但由于潜在的不准确性和验证复杂查询的难度，开发者之间存在严重的信任赤字。虽然AI可以协助构思和分解需求，但其概率性使其不适合直接生成最终代码。一种新方法，以SQLazy为例，将AI的角色分离为逻辑分解，并使用确定性编译器生成可审计、可投入生产的SQL，旨在结合AI的效率和保证的准确性。
-
SchemaBrain 提供安全的 AI 到数据库意图编译
SchemaBrain 是一款旨在弥合 AI 代理与生产数据库之间差距的新工具，解决了直接 SQL 访问的局限性。该系统将 AI 代理的意图编译成安全的、参数化的 SQL 查询，防止代理直接执行任意 SQL。它还包括在查询运行前拒绝个人身份信息 (PII) 和数据泄露的检查，确保与 PostgreSQL 等数据库进行更安全、更可靠的交互。