Great Expectations
PulseAugur coverage of Great Expectations — every cluster mentioning Great Expectations across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
TDDA书籍第7章发布数据验证内容，tdda库v3.2增加Polars支持
TDDA书籍第7章，重点关注数据验证中的实际约束，现已在线发布。本章结束了数据验证部分，讨论了非表格数据、电子表格、测量正则化以及Pandera和Great Expectations等替代库。tdda库的最新版本v3.2现在为Polars数据帧提供了全面支持，增强了内存数据和Parquet、CSV等文件的功能，并改进了Windows的CI测试。
-
大型语言模型数据管道集成面临隐藏的数据质量和安全风险
将大型语言模型（LLM）集成到数据管道中，除了选择合适的模型之外，还面临着严峻的挑战。一个关键问题是，与传统数据系统不同，LLM 在遇到低质量数据时不会发出明显的失败信号；相反，它们会自信地生成错误信息。此外，检索增强生成（RAG）系统可能会无意中绕过现有的访问控制，从而带来安全和合规风险。解决这些问题需要对 LLM 调用之前和之后进行严格的数据质量检查，并仔细管理 RAG 管道以维护数据治理。
-
MLOps 指南详述框架、工作流和实时 AI 部署
这组文章聚焦于机器学习运维 (MLOps)，详细介绍了管理机器学习生命周期所需的完整框架和工作流。文章涵盖了构建持续交付和自动化流水线、实时部署 AI 以及管理 ML 实验。它们还触及了 MLOps 从传统 DevOps 的演变，强调了在生产环境中部署包括大型语言模型 (LLM) 在内的 ML 模型所需的专业技能。
-
Eugene Yan 详细介绍了数据和机器学习管道的健壮测试策略
Eugene Yan 的文章探讨了为数据和机器学习管道创建更具韧性的测试的方法。作者讨论了为什么即使新代码是正确的，现有测试也经常失败，并将其归因于测试本身脆弱的性质。Yan 通过检查单元测试和集成测试等不同的测试范围，并分析新数据和逻辑对测试有效性的影响，提出了改进管道测试的策略。