Apache Spark
PulseAugur coverage of Apache Spark — every cluster mentioning Apache Spark across labs, papers, and developer communities, ranked by signal.
- founded by Matei Zaharia 100%
- developed by Apache Software Foundation 100%
- developed Databricks 90%
- uses Databricks 90%
- founded Databricks 90%
- founded by Databricks 90%
- used by Python 90%
- used by data frame 90%
- developed by Databricks Runtime 90%
- used by pyspark 90%
- uses Apache Kafka 80%
- competes with Apache Flink 80%
- 2026-11-05 product_launch Databricks released Apache Spark 4.3, integrated into Databricks Runtime 19, introducing stateful processing capabilities for real-time applications. 来源
- 2026-10-12 product_launch Google has launched Spark, an AI tool that uses Google Gemini to automate tasks. 来源
- 2026-10-07 product_launch Unity announced the launch of Spark, a new no-code game creation tool. 来源
- 2026-07-21 product_launch Apache Spark released version 4.2, focusing on improved AI developer friendliness. 来源
- 2026-07-15 product_launch Databricks released Apache Spark 4.2, enhancing its data and AI capabilities. 来源
- 2026-07-01 product_launch Google launched its new Mac AI agent, Spark, available to Ultra subscribers. 来源
- 2026-06-03 product_launch Databricks announced a new real-time mode for Apache Spark, enhancing its capabilities for gaming sessionization. 来源
21 天有情绪数据
-
Linger AI助手集成Spark模型以适配Mac硬件
由simplexai-labs维护的Linger个人AI助手项目正在为其16GB Mac版本集成Spark-X2.6-4B Q4_K_M模型。此次集成尤为值得关注,因为它直接解决了将AI模型与可用硬件相匹配的实际挑战,特别是对于本地助手而言。该项目的文档详细介绍了性能指标,包括token生成速度,并概述了其提议的64K上下文窗口的硬件要求和限制。
-
Databricks 推出 Genie Migrate for Serverless 以支持无服务器工作负载
Databricks 推出了 Genie Migrate for Serverless,这是一款旨在简化和加速现有工作负载迁移到其无服务器计算平台的新代理。该工具通过内置的 30 天回滚选项,自动化了扫描工作负载、转换配置和应用更改的复杂过程。通过将建议的更改呈现为可审查的差异,Genie Migrate 旨在将迁移从一个漫长的试错过程转变为一个简单的批准步骤,使用户能够在利用无服务器基础设施优势的同时保持控制权。
-
AWS 在 SageMaker JumpStart 上集成 OpenTSLM 用于时间序列数据分析
AWS 已将 Aionic Labs 开发的开源时间序列语言模型 OpenTSLM 集成到其 SageMaker JumpStart 平台中。此次集成允许组织部署和调整 TSLM,以分析运营数据(如设备传感器读数和市场趋势)以及上下文信息(如维护记录)。这些模型旨在通过解释近期测量结果并提供解释、建议的操作和预期结果来帮助系统识别新兴问题,Nexthink 的主动 IT 代理 Spark 证明了这一点。
-
从零开始构建生产级众包数据平台
本文详细介绍了从零开始构建生产级众包数据平台的建设过程,重点阐述了通过各种技术实现的八个阶段。该平台集成了 Kubernetes、Kafka、Spark、Airflow 和 dbt 等组件,所有这些都在 Google Cloud Platform (GCP) 上进行管理。它包括一个用于生成虚假移动设备测量数据的模拟器,这些数据通过 Spark medallion lake 进行处理,并由 dbt 进行转换,以便在 Looker Stu…
-
Spark 缓存策略:理解性能成本
本文深入探讨了 Spark 作业中缓存策略对性能的影响,认为无差别的缓存会显著减慢处理速度。文章解释了 Spark 的 `.cache()` 函数相关的引擎级成本,并提出了具体的持久化技术以恢复丢失的速度。该文旨在为 Spark 用户提供对这些性能权衡的详细说明。
-
Databricks: Apache Spark 的实时模式可与 Flink 延迟相媲美
Databricks 发布了一篇博客文章,比较了 Apache Spark 和 Apache Flink,认为 Spark 因其统一的引擎功能而成为大多数团队的普遍更优选择。该文章重点介绍了 Spark 新的实时模式,根据 Databricks 的基准测试,该模式在无状态、聚合和连接工作负载的延迟方面,性能可与 Flink 相媲美甚至超越。虽然 Flink 仍然适用于复杂事件处理或管理非常大的键控状态等高度专业化的用例,但 Datab…
-
Ethan Mollick 比较 AI 模型:氢 vs 十四行诗,寓言 vs 奇迹
AI 研究员 Ethan Mollick 在 Bluesky 上发布了一篇帖子,比较了各种 AI 模型。他将“氢”等模型等同于“十四行诗”、“月神”和“Apache Spark”,而将“寓言”定位为与“奇迹”、“阿斯特拉”和“碳”相当。帖子中还提到了“氩”与“寓言”的关系。
-
Databricks 为 Apache Spark Structured Streaming 实现毫秒级延迟
Databricks 推出了 Apache Spark Structured Streaming 的实时模式,实现了毫秒级的端到端延迟。此新模式在记录到达时进行处理,无需为欺诈检测和实时 AI 功能等应用程序使用单独的仅流引擎。实时模式在 Databricks Runtime 16.4 LTS 及更高版本中可用,并正在推广到开源 Apache Spark 版本,与传统的微批处理相比,延迟有了显著的改进。
-
Databricks 帮助 Eclipse Aerospace 简化飞行数据摄取
Eclipse Aerospace 通过利用 Databricks 平台和新的 Rust 支持的 Apache Arrow 连接器,简化了其飞行数据摄取流程。此次集成使得能够更快地访问近二十年的专有飞行遥测数据,显著提高了处理速度并降低了运营成本。该解决方案无需冗余存储和复杂的多步转换,能够在几分钟内分析大量的飞行历史记录。
-
Databricks 架构师详解 AI 对金融服务业的影响
Databricks 的首席解决方案架构师 Alasdair Anderson 分享了他在此职位上的见解以及该公司对金融服务业的影响。他强调了 Databricks 的平台,包括 AgentBricks 和 Lakebase,如何使金融机构能够克服数据孤岛并重新设计复杂流程,将工作时间从几天缩短到几分钟。Anderson 强调了公司独特的技术方法,利用其 Apache Spark 传统,结合 Unity Catalog 和 Unity…
-
Expedia工程师微调AI以解析系统日志
Expedia Group的一名数据工程师详细介绍了他们微调AI模型以解释复杂系统日志的过程。该举措旨在通过减少对Spark等执行计划的手动分析需求来简化数据工程任务。
-
用户瞄准Spark Mail和Poste进行开源AI驱动的复刻
用户正在考虑两个闭源程序,Spark Mail 1.x for Mac和Poste(一个邮件服务器),作为逆向工程以创建开源替代品的潜在目标。这项工作涉及利用AI工具并可能消耗大量的计算资源。
-
理解 Apache Spark:超越 Pythonic 处理
本文解释了 Apache Spark,一个为跨多台机器处理大型数据集而设计的分布式计算引擎。它澄清了 PySpark 是 Spark 的 Python API,并强调 Spark 的核心优势在于分发工作,而不仅仅是加速 Python 代码。作者使用餐厅厨房的比喻来描述 Spark 的架构,包括驱动程序、集群管理器、执行器、分区和任务,并介绍了作业、阶段和任务等关键执行概念。
-
Databricks OpenSharing 以实时表读取取代数据复制
Databricks 推出了 OpenSharing,这是一种旨在取代传统文件和 API 数据源的新协议。该系统允许接收者直接从提供商的存储中实时读取共享数据,无需复制数据、进行计划导出或执行复杂的对账作业。OpenSharing 利用 Delta Lake 和 Iceberg 等开放表格式,使接收者能够通过更改数据源 (Change Data Feed) 访问具有行级更改的实时数据流,从而简化数据摄取并降低运营开销。
-
Databricks 将 Delta Sharing 发展为 OpenSharing,用于 AI 资产
Databricks 已将其 Delta Sharing 协议发展为 OpenSharing,这是一个由 Linux 基金会管理的新标准,旨在共享更多种类(而不仅仅是数据表)的 AI 资产。此次扩展包括代理技能、AI 模型和非结构化数据,支持跨 Apache Iceberg 等不同平台和引擎进行零拷贝协作。此次转型旨在满足对这些复杂资产无缝共享日益增长的需求,并建立在已支持数千个组织的 Delta Sharing 的成功基础之上。
-
Databricks 发布 Apache Spark 4.3,支持实时有状态处理
Databricks 已发布 Apache Spark 4.3,并集成到 Databricks Runtime 19 中,为实时应用程序引入了有状态处理功能。此次更新使得流式聚合和自定义有状态操作的延迟低于 150 毫秒,简化了需要跨事件上下文的应用程序的开发。此外,Spark 4.3 还增强了用于历史数据跟踪的变更数据捕获功能,并提高了小数据查询和更广泛应用程序连接性的开发效率。
-
Crusoe推出模块化AI数据中心单元,加速产能部署
Crusoe推出了其第六代模块化数据中心平台Spark Liquid单元,旨在加速AI基础设施的部署。这一工厂预制解决方案通过提供更快的AI产能途径,解决了电力和建设延迟问题,支持Nvidia的GB300 NVL72和Vera Rubin NVL72等高密度机架的直接液冷。该公司旨在实现比前几代高五倍的计算密度,并计划于2027年在科罗拉多州投产。
-
RuntimeWire 主办 DGX 和 Spark 赠品活动
RuntimeWire 正在举办一项赠品活动,其中包括参加 DGX 和 Spark 活动的资格。该活动免费参与,但需符合特定的资格要求和规则。更多详情和参与方式可通过提供的链接获取。
-
DGX Spark 设置利用中国人工智能模型以增强实用性
本文详细介绍了 DGX Spark 的设置,该系统利用 DeepSeek、Qwen、GLM 和 Kimi 等中国人工智能模型来增强其实用性。作者对这些模型表示高度赞赏,并指出它们将 DGX Spark 转化为有价值的工具。该指南旨在提供一个通用的设置方案,适用于任何引擎和节点数量,从而为用户节省时间和资源。
-
BAMA 工具能够从头开始重构 Mac 应用
BAMA 是一款旨在从头开始重构 Mac 应用程序的新工具,紧随 REA 逆向工程工具之后。该工具旨在重构任何 Mac 应用程序,无论是来自 App Store 还是其他来源。一位用户计划通过重构旧版 Spark 邮件客户端来测试 BAMA,以解决字体缩放的特定可用性问题。