Apache Spark
PulseAugur coverage of Apache Spark — every cluster mentioning Apache Spark across labs, papers, and developer communities, ranked by signal.
- founded by Matei Zaharia 100%
- developed by Apache Software Foundation 100%
- used by Databricks 90%
- developed by Databricks 90%
- founded Databricks 90%
- founded by Databricks 90%
- used by Delta Lake 90%
- uses SQL 90%
- affiliated with Databricks 70%
- used by Unity Catalog 70%
- used by Python 70%
- developed by Delta Lake 70%
- 2026-07-21 product_launch Apache Spark released version 4.2, focusing on improved AI developer friendliness. 来源
- 2026-07-15 product_launch Databricks released Apache Spark 4.2, enhancing its data and AI capabilities. 来源
- 2026-07-01 product_launch Google launched its new Mac AI agent, Spark, available to Ultra subscribers. 来源
- 2026-06-03 product_launch Databricks announced a new real-time mode for Apache Spark, enhancing its capabilities for gaming sessionization. 来源
18 天有情绪数据
-
Databricks通过新功能简化SQL到Lakehouse的迁移
Databricks推出了新的SQL功能，旨在简化遗留数据仓库存储过程到其Lakehouse平台的迁移。这些增强功能旨在减少在Python和Apache Spark等语言中进行昂贵重写的需求，使SQL开发人员能够以最小的改动维护其现有的业务逻辑。关键改进包括对临时表和游标的支持，直接解决了常见的迁移障碍，并实现了与Unity Catalog等工具的更好集成，以增强治理和可发现性。
-
Spark性能问题追溯到Driver瓶颈，而非Executor
最近一个Spark应用程序的性能显著下降，从38分钟飙升至4小时以上。问题并非出在Executor资源不足，因为增加Executor数量一倍反而加剧了问题。根本原因被确定为Driver端的工作，特别是循环反复调用collect()并重新广播一个大型Map，导致Driver JVM在垃圾回收时陷入困境。这凸显了监控负责任务调度和查询计划管理的Driver组件的重要性，而不是仅仅关注Executor。
-
Databricks Feature Store 为 ML 模型实现亚秒级新鲜度
Databricks 增强了其 Feature Store，为机器学习模型提供亚秒级新鲜度，满足了欺诈检测和个性化等应用对实时数据的需求。更新后的 Feature Store 允许数据科学家一次定义特征，并在批量和实时管道中进行部署。它利用 Apache Spark Real-Time Mode、Lakebase 和 Model Serving，实现了从通过 Apache Kafka 进行数据摄取到特征可用性的端到端 p99 延迟为 …
-
Spark 流处理管道因状态管理导致结果延迟 93 分钟
一个 Spark SQL 流处理管道经历了显著的延迟，尽管触发器间隔为 10 秒，但结果却延迟了 93 分钟。问题源于 `dropDuplicates` 操作，该操作在流处理模式下（与批处理不同）必须在其状态存储中无限期地保留所有已见订单 ID。这导致状态存储达到 146GB，触发器执行耗时 11 分钟。核心问题在于缺乏关于迟到重复订单如何到达的明确数据契约，这凸显了 Spark 统一 DataFrame 模型中，有界批处理输入与无界…
-
Xenomorph 发布，成为一个小型、安全的 ActivityPub 服务器
Xenomorph 是一个新推出的、紧凑的 ActivityPub 服务器，专为最少的资源使用而设计，能够运行在非常小的机器上。它由 loweel 开发，灵感来自 snac，使用 Ada/SPARK 编写，专注于创建健壮、可验证且安全的代码。
-
苏格兰水务公司通过 Databricks Genie 使资本投资数据实现对话化
苏格兰水务公司已实施 Databricks Genie，以改变其资本投资数据的访问方式。此前，团队在查找零散报告中的信息时遇到困难，或依赖数据专家。现在，通过一个名为 SPARK 的对话界面，该界面集成了 Microsoft Teams 和 Copilot，用户可以通过简单的英语提问，并获得通过 Unity Catalog 治理的数据提供的即时、可信赖的答案。该解决方案通过从静态报告转向交互式数据对话，减少了摩擦，加速了决策制定，并促…
-
Apache Spark 数据倾斜详解：原因、检测和补救策略
Apache Spark 中的数据倾斜，即单个键可能主导一个分区，会导致作业在看似接近完成时停滞数小时。这个问题常常被误认为是资源问题，但实际上是由于哈希分区器在分发键时未考虑行分布造成的。文章详细介绍了这如何导致拖尾任务、内存压力和溢出，并概述了五种用于检测和补救数据倾斜的生产策略，包括 AQE 倾斜连接、加盐和热键隔离。
-
Databricks AUTO CDC 增强 Spark 功能，支持双时间历史和部分更新
Databricks 增强了其在 Apache Spark 声明式管道中的 AUTO CDC 功能，以应对复杂的数据工程挑战。此次更新引入了双时间历史跟踪，允许重建数据在特定时间点的状态，这对于遵守 SEC Rule 17a-4 和 FINRA 等法规至关重要。此外，AUTO CDC 现在支持部分更新，可自动处理仅提供更改字段的源，并防止意外覆盖现有数据。
-
Meta AI 的 Spark 模型展示了迭代性能提升
Simon Willison 可视化了 Meta AI 的 Spark 模型系列在几次更新后的性能变化。可视化突出了 Spark 模型在迭代方面的改进，展示了它们从四月的 Spark 到七月的 Spark 1.1 和八月五日的 Spark 1.2 的演变。
-
分析建议停止将 Databricks 模式复制到 Microsoft Fabric
建议数据工程师避免在 Microsoft Fabric 中复制复杂的 Databricks 架构模式。文章认为，Fabric 的统一、无服务器和 SaaS 架构比 Azure Databricks 过去所需的复杂集群管理和优化技术更青睐简洁性。通过利用 OneLake 和其自动优化功能等 Fabric 的原生功能，团队可以减少技术债务，降低计算成本，并构建更强大的数据管道。
-
Microsoft Fabric FinOps：管理云成本和计算单元
本文讨论了在 Microsoft Fabric 中实施财务运营（FinOps）以管理和优化云成本。文章强调了未管理的容量和突发使用量可能导致意外支出，即使工作负载最初运行顺畅。该指南解释了计算单元（CUs）的概念以及 Fabric 的突发和优化功能如何工作，并强调超出优化使用限制可能会导致节流，并对性能和用户体验产生负面影响。
-
Microsoft Fabric 通过 OneLake 集成 Lakehouse 和 Warehouse 选项
Microsoft Fabric 在统一平台中同时提供 Lakehouse 和 Warehouse 选项，并利用 OneLake 进行数据存储。Lakehouse 架构以 Apache Spark 和开放的 Delta Parquet 表为中心，非常适合处理非结构化和半结构化数据，并具备将原始文件解析和转换为结构化表的能力。这种方法允许通过 SQL 分析终结点直接查询，从而连接数据工程和 BI 报告。
-
Google 扩展了实时更新功能，并将 Spark 任务分配集成到 Gemini 中
Google 正在将其实时更新功能扩展到秒表和计时器，并迅速推广到其各项服务中。此外，据报道该公司正在开发一项功能，允许用户直接从 Gemini 聊天界面将任务分配给 Spark，从而可能简化工作流程管理。
-
Databricks 使 Variant 数据类型正式可用，以加快数据摄取速度
Databricks 宣布其 Variant 数据类型现已正式可用，旨在改进半结构化数据的摄取和查询。此功能与 Variant Shredding 一起，使用预测性优化来提高查询性能，与将数据存储为字符串相比，读取速度提高了 30 倍。已有超过 5,000 个团队使用 Variant 来摄取来自各种数据库的流式事件、API 负载和无模式数据，从而消除了数据模式化的前期成本。
-
新的 BIP! Ranker 库可计算海量科学图的引用影响力
一个名为 BIP! Ranker 的新的开源软件库已被开发出来，用于计算大规模科学图的基于引用的影响力指标。该库基于 Apache Spark 构建，可以处理包含数亿篇出版物、数十亿次引用的引用网络。BIP! Ranker 旨在通过提供多种互补指标，提供比简单引用计数更细致的科学影响力理解。
-
用于 DGX/Spark 上的 NixOS 的 GitHub 仓库引发讽刺评论
一条幽默的社交媒体帖子嘲笑了新的 GitHub 仓库，该仓库旨在将 NixOS 与 DGX 和 Spark 集成用于 AI 研究。作者讽刺地暗示这增加了不必要的复杂性，并开玩笑说自动化工作流程会导致自我毁灭。
-
Google Gemini 桌面应用获得新功能，包括原生媒体生成
Google 正在为其 Gemini 桌面应用程序测试新功能，旨在使其与网页版更加一致。这些更新包括原生多媒体生成功能及其 AI 代理 Spark 的全球发布。目标是在不同平台之间提供更统一的用户体验。
-
Spark Join策略变更导致3.8TB Shuffle，凸显规划器复杂性
Apache Spark的Join策略对作业性能有显著影响，最近一个案例表明，由于意外地从Broadcast Hash Join切换到Sort-Merge Join，一个作业的执行时间从几分钟增加到一小时以上。这种变化是由上游数据修改触发的，该修改将维度表的大小增加到了Spark默认广播阈值之上。理解五种物理Join算子——Broadcast Hash Join、Shuffle Hash Join、Sort-Merge Join、Br…
-
Meta 利用人工智能快速推出新应用，并计划推出更多应用
Meta 正在利用人工智能来加速新的独立应用程序的开发和发布。首席执行官 Mark Zuckerberg 强调，大型语言模型 (LLM) 正在显著缩短产品开发周期，使公司能够快速测试更多想法。这种方法已经促成了几款新应用的发布，并计划推出更多应用，旨在复制 Threads 的成功。
-
NVIDIA GB10/DGX Spark 用户讨论最佳 AI 模型性能
Reddit r/LocalLLaMA 社区的一位用户正在寻求关于在单台配备 Apache Spark 的 NVIDIA GB10/DGX Grace Blackwell Superchip 上运行性能最佳且最稳定的 AI 模型的推荐。讨论围绕 Qwen 3.6 27b、DeepSeek V4 Flash 和 Laguna S 2.1 等模型展开，用户权衡速度、结果质量和优化潜力等因素。