pyspark
PulseAugur coverage of pyspark — every cluster mentioning pyspark across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Microsoft Fabric 通过 OneLake 集成 Lakehouse 和 Warehouse 选项
Microsoft Fabric 在统一平台中同时提供 Lakehouse 和 Warehouse 选项，并利用 OneLake 进行数据存储。Lakehouse 架构以 Apache Spark 和开放的 Delta Parquet 表为中心，非常适合处理非结构化和半结构化数据，并具备将原始文件解析和转换为结构化表的能力。这种方法允许通过 SQL 分析终结点直接查询，从而连接数据工程和 BI 报告。
-
在 Azure Databricks 上构建的无服务器 PySpark MLOps 管道
本文详细介绍了在 Azure Databricks 上利用 PySpark 构建无服务器 MLOps 管道的过程。文章重点介绍了如何利用 Unity Catalog 来增强机器学习工作流中的数据治理和管理。作者概述了构建此类系统的步骤和注意事项，强调了效率和可扩展性。
-
fenic 使用 Rust 插件扩展 Polars 以进行 AI 管道操作
fenic 库开发了一种方法，通过使用 Rust 表达式插件来扩展 Polars DataFrame 引擎的自定义操作。这种方法解决了在使用 Python UDFs 进行 AI 和 LLM 管道任务（如文本分块、提示模板化和模糊匹配）时遇到的性能限制和组合问题。通过 pyo3-polars 将这些操作实现为 Rust 插件，fenic 将它们直接集成到 Polars 的表达式引擎中，从而实现更快、类型安全且更具组合性的数据处理管道。
-
PySpark Null 处理：避免数据管道中的数据损坏
本文解释了在 PySpark 数据管道中正确处理 Null 值至关重要，因为不当的管理会导致结果不准确和数据损坏。它强调 Null 值通常不被注意，但会 silently 破坏聚合、ML 模型和仪表板。本文旨在阐明 PySpark DataFrames 中 Null 处理的底层概念，区分初级和高级数据工程知识。
-
Databricks提供通过SQL、SDP或PySpark进行ETL迁移的框架
Databricks推出了一项新框架，旨在帮助组织迁移现有的ETL（提取、转换、加载）管道。该框架概述了三种主要的迁移路径：利用Databricks SQL处理以SQL为主的工作负载，采用Spark声明式管道（SDP）进行自动化编排和数据质量管理，或使用PySpark和Spark SQL笔记本进行复杂逻辑和自定义集成。这种方法鼓励采用分阶段迁移策略，而非一次性大规模切换，同时利用Lakebridge和AI辅助代码转换等工具来协助这一过程。
-
统一收入平台架构解决销售分析碎片化问题
本文提出了一个统一收入平台（URP）的四层架构，以解决B2B组织中销售分析的碎片化问题。该系统将CRM数据摄取、目标层叠、机器学习预测和基于角色的分析集成到一个平台中。通过在数据摄取、数据平台、财务规划和展示等不同层级分离关注点，URP旨在减少手动数据对账，并提供团队健康状况和绩效的整体视图。
-
Salesforce 发布 Merlion，一个用于时间序列智能的端到端机器学习框架
Salesforce 发布了 Merlion 2.0，这是一个开源的 Python 库，专为时间序列智能而设计。该框架为预测、异常检测和变化点检测等任务提供端到端解决方案。Merlion 2.0 包括多种模型、自动超参数调优以及实用的后处理规则，以增强模型的可解释性并减少误报。
-
Eugene Yan 评述 Martin Odersky 的 Scala 函数式编程课程
Eugene Yan 分享了他学习 Coursera 上一门关于 Scala 函数式编程课程的经历，该课程由语言设计者 Martin Odersky 讲授。这门为期六周的课程涵盖了 Scala 基础知识、函数式编程概念，并强调了单元测试（使用 ScalaTest）等软件工程实践。Yan 发现，尽管他可能不会在数据科学工作中频繁使用递归解决方案，但该课程通过尾递归加深了他对 Scala 的理解和解决问题的能力，最终使他的代码更加健壮和高效。