在 dbt 的 SQL 转换中直接使用大型语言模型 (LLM) 会破坏幂等性和可重现性的核心假设。LLM 调用不是纯函数,这意味着由于模型更新或采样方差等因素,即使输入相同,其输出也可能不同。这种不一致性会破坏 dbt 的全量刷新、增量模型和 CI 检查等功能。推荐的解决方案是将 LLM 输出视为内容寻址账本,将它们单独存储,并在 dbt 模型中确定性地将它们连接起来。 AI
影响 这种方法确保了在集成 LLM 生成的功能时,数据管道是可重现和可靠的,这对于生产 AI 系统至关重要。
排序理由 文章讨论了在数据转换工具 (dbt) 中使用 LLM 的特定技术实现细节和最佳实践。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →