pyspark
PulseAugur coverage of pyspark — every cluster mentioning pyspark across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
机器学习模型在钓鱼网站检测中达到 96% 的准确率
一份分步指南详细介绍了如何使用 PySpark 和机器学习构建钓鱼网站检测器。该项目使用了包含 11,430 个 URL 的数据集,分析了 89 个特征来识别恶意网站。表现最佳的模型是随机森林,准确率达到 96%,AUC 为 0.99,证明了机器学习在根据 URL 特征和页面信号区分虚假网站和合法网站方面的有效性。
-
理解 Apache Spark:超越 Pythonic 处理
本文解释了 Apache Spark,一个为跨多台机器处理大型数据集而设计的分布式计算引擎。它澄清了 PySpark 是 Spark 的 Python API,并强调 Spark 的核心优势在于分发工作,而不仅仅是加速 Python 代码。作者使用餐厅厨房的比喻来描述 Spark 的架构,包括驱动程序、集群管理器、执行器、分区和任务,并介绍了作业、阶段和任务等关键执行概念。
-
通过5项关键控制措施增强Azure Databricks上PySpark的可靠性
本文讨论了到2026年在Azure Databricks中确保PySpark数据管道可靠性的五项关键控制措施。它强调使用模块化Python、Delta Lake和自动化部署策略构建可测试且可重放的数据管道。文章还涉及为这些数据管道选择合适的执行模式。
-
Databricks 推出 Funke,用于在 Lakehouse 上实现原生 HL7v2 解析
Databricks 推出了 Funke,这是一个开源加速器,旨在将 HL7v2 电子健康记录消息直接解析为 Databricks Lakehouse 上的原生 Spark 类型。这个新的 Python 和 PySpark 库是其 2021 年 Scala 库 Smolder 的继任者,并与 Unity Catalog 和 Spark Declarative Pipelines 等现代 Databricks 功能集成。Funke 旨在…
-
Microsoft Fabric 通过 OneLake 集成 Lakehouse 和 Warehouse 选项
Microsoft Fabric 在统一平台中同时提供 Lakehouse 和 Warehouse 选项,并利用 OneLake 进行数据存储。Lakehouse 架构以 Apache Spark 和开放的 Delta Parquet 表为中心,非常适合处理非结构化和半结构化数据,并具备将原始文件解析和转换为结构化表的能力。这种方法允许通过 SQL 分析终结点直接查询,从而连接数据工程和 BI 报告。
-
在 Azure Databricks 上构建的无服务器 PySpark MLOps 管道
本文详细介绍了在 Azure Databricks 上利用 PySpark 构建无服务器 MLOps 管道的过程。文章重点介绍了如何利用 Unity Catalog 来增强机器学习工作流中的数据治理和管理。作者概述了构建此类系统的步骤和注意事项,强调了效率和可扩展性。
-
fenic 使用 Rust 插件扩展 Polars 以进行 AI 管道操作
fenic 库开发了一种方法,通过使用 Rust 表达式插件来扩展 Polars DataFrame 引擎的自定义操作。这种方法解决了在使用 Python UDFs 进行 AI 和 LLM 管道任务(如文本分块、提示模板化和模糊匹配)时遇到的性能限制和组合问题。通过 pyo3-polars 将这些操作实现为 Rust 插件,fenic 将它们直接集成到 Polars 的表达式引擎中,从而实现更快、类型安全且更具组合性的数据处理管道。
-
PySpark Null 处理:避免数据管道中的数据损坏
本文解释了在 PySpark 数据管道中正确处理 Null 值至关重要,因为不当的管理会导致结果不准确和数据损坏。它强调 Null 值通常不被注意,但会 silently 破坏聚合、ML 模型和仪表板。本文旨在阐明 PySpark DataFrames 中 Null 处理的底层概念,区分初级和高级数据工程知识。
-
Databricks提供通过SQL、SDP或PySpark进行ETL迁移的框架
Databricks推出了一项新框架,旨在帮助组织迁移现有的ETL(提取、转换、加载)管道。该框架概述了三种主要的迁移路径:利用Databricks SQL处理以SQL为主的工作负载,采用Spark声明式管道(SDP)进行自动化编排和数据质量管理,或使用PySpark和Spark SQL笔记本进行复杂逻辑和自定义集成。这种方法鼓励采用分阶段迁移策略,而非一次性大规模切换,同时利用Lakebridge和AI辅助代码转换等工具来协助这一过程。
-
统一收入平台架构解决销售分析碎片化问题
本文提出了一个统一收入平台(URP)的四层架构,以解决B2B组织中销售分析的碎片化问题。该系统将CRM数据摄取、目标层叠、机器学习预测和基于角色的分析集成到一个平台中。通过在数据摄取、数据平台、财务规划和展示等不同层级分离关注点,URP旨在减少手动数据对账,并提供团队健康状况和绩效的整体视图。
-
Salesforce 发布 Merlion,一个用于时间序列智能的端到端机器学习框架
Salesforce 发布了 Merlion 2.0,这是一个开源的 Python 库,专为时间序列智能而设计。该框架为预测、异常检测和变化点检测等任务提供端到端解决方案。Merlion 2.0 包括多种模型、自动超参数调优以及实用的后处理规则,以增强模型的可解释性并减少误报。
-
Eugene Yan 评测 Martin Odersky 在 Coursera 上的 Scala 课程
Lazada Group 的数据科学家 Eugene Yan 分享了他学习 Coursera 上“Scala 函数式编程”课程的经历。该课程由 Scala 的设计者 Martin Odersky 教授,为期六周,提供了一种结构化的方法来学习 Scala 基础知识、函数式编程概念和数据结构。Yan 认为对尾递归和使用 ScalaTest 进行单元测试的强调尤其有价值,提高了他的解决问题能力和代码健壮性。
-
Eugene Yan 评述 Martin Odersky 的 Scala 函数式编程课程
Eugene Yan 分享了他学习 Coursera 上一门关于 Scala 函数式编程课程的经历,该课程由语言设计者 Martin Odersky 讲授。这门为期六周的课程涵盖了 Scala 基础知识、函数式编程概念,并强调了单元测试(使用 ScalaTest)等软件工程实践。Yan 发现,尽管他可能不会在数据科学工作中频繁使用递归解决方案,但该课程通过尾递归加深了他对 Scala 的理解和解决问题的能力,最终使他的代码更加健壮和高效。