data frame
PulseAugur coverage of data frame — every cluster mentioning data frame across labs, papers, and developer communities, ranked by signal.
-
Spark Datasets 因阻碍数据剪枝而使作业运行时长增加两倍
最近的一项分析强调了在 Apache Spark 中从 DataFrames 迁移到 Datasets 进行类型安全重构时,性能显著下降的问题。作者详细介绍了一个具体案例,其中在切换到 Dataset API 后,一个日常的数据丰富作业的运行时间增加了两倍,读取的数据量激增了 800% 以上。这种性能下降归因于 Spark 将 RDD 和 DataFrames 视为不同的执行世界,其中 Dataset API 的编译时安全性可能会无意…
-
Apache Spark Catalyst 优化器:内部机制与性能陷阱
本文深入探讨了 Apache Spark Catalyst 优化器的内部工作原理,解释了 SQL 查询和 DataFrame 调用如何被转化为高效的物理执行计划。文章重点介绍了一个实际案例,其中一个看似微小的改动——将分区列包装在 Python UDF 中——导致 Spark 读取了比必要多 1500 倍的数据。解释侧重于 Catalyst 的树转换框架及其四个阶段的管道:分析、逻辑优化、物理规划和代码生成,并强调理解这些阶段对于优化…
-
PySpark Null 处理:避免数据管道中的数据损坏
本文解释了在 PySpark 数据管道中正确处理 Null 值至关重要,因为不当的管理会导致结果不准确和数据损坏。它强调 Null 值通常不被注意,但会 silently 破坏聚合、ML 模型和仪表板。本文旨在阐明 PySpark DataFrames 中 Null 处理的底层概念,区分初级和高级数据工程知识。
-
交互式 Pandas 练习提供实践数据分析机会
该资源提供了 101 个交互式练习,用于学习 Pandas 数据分析库。用户可以直接在网页浏览器中运行和编辑所有代码块,无需任何安装。练习涵盖了基础操作,如导入 Pandas、从各种数据结构创建 Series、操作索引、将 Series 合并到 DataFrame 以及计算描述性统计数据。