Apache Spark
PulseAugur coverage of Apache Spark — every cluster mentioning Apache Spark across labs, papers, and developer communities, ranked by signal.
- developed by Apache Software Foundation 100%
- founded by Matei Zaharia 100%
- founded Databricks 90%
- founded by Databricks 90%
- developed by Databricks 90%
- uses Delta Lake 90%
- used by Databricks 90%
- used by Python 70%
- uses Unity Catalog 70%
- affiliated with Databricks 70%
- used by vLLM 70%
- used by Anyscale, Inc. 70%
13 天有情绪数据
-
Netflix工程师通过动态重分区技术大幅降低Cassandra读取延迟
Netflix工程团队开发了一种新颖的方法来解决Apache Cassandra（一种用于时间事件数据的数据库）中宽分区引起的性能问题。他们的方法称为动态重分区，可将大型分区透明地拆分为更小、更易于管理子分区，对应用程序无感知。此优化显著将读取延迟从秒级降低到毫秒级，提高了Netflix的时间序列抽象平台的效率。
-
大型语言模型绕过数据库驱动程序直接读取存储文件
一种名为 Jailbreak 的新方法使用大型语言模型 (LLM) 来绕过传统的数据库驱动程序并直接读取存储文件。通过摄取数据库源代码和文档，LLM 可以再生专门的读取器，将数据物化到内存中的列式缓冲区。该方法已显示出显著的性能改进，在 PostgreSQL 和 MySQL 等系统的分析吞吐量方面实现了高达 27 倍的加速，并生成了与 DuckDB、Apache Spark 和 cuDF 等引擎兼容的 Apache Arrow 缓冲区。
-
Anthropic 的 Claude Cowork 智能体扩展到移动和网页版
Anthropic 已将其 Claude Cowork AI 智能体扩展到移动和网页平台，超越了之前仅限桌面访问的限制。此次更新允许该智能体在用户设备关闭或离线时也能在后台继续执行任务，并向用户的手机发送通知以供审查和批准。此举旨在提供更灵活和集成的运营支持，模糊了对话式 AI 和任务自动化之间的界限。该功能最初对 Max 订阅用户可用，预计将在未来几周内推广到其他套餐。
-
2026年数据工程师路线图：超越ETL，迈向LLM管道
2026年成为一名数据工程师需要掌握超越传统ETL的现代技能，重点关注流数据、云优化以及理解管道如何支持LLM应用。该路线图强调掌握SQL的高级函数，使用Python进行数据迁移而非复杂的数据科学，并熟练掌握Linux命令行工具。它还强调数据建模的重要性，特别是维度建模和现代列式仓库青睐的反范式方法，以确保数据被视为产品。
-
DeepSeek-V4 Flash模型在Ascent GX10上实现了长上下文性能的一致性
一位用户已成功在Ascent GX10系统上部署了REAP-pruned NVFP4版本的DeepSeek-V4 Flash模型。该设置使用单个Apache Spark实例，并在长上下文长度下展示了稳定的吞吐量。用户还开发了一个Grafana仪表板来监控Spark服务器的性能，该服务器以262k的上下文长度和VLLM提供服务。
-
Google 推出 Mac AI 代理 Spark 供 Ultra 订阅用户使用
Google 推出了一款名为 Spark 的 Mac 用户新 AI 代理，可自动整理文件并与 Canva 和 Instacart 等五个应用程序集成。此新功能目前仅限于每月 99.99 美元的“Ultra”套餐订阅用户，且 Beta 版本要求年满 18 周岁。
-
Databricks Spark 作业性能调优指南
本文提供了一份在 Databricks 中优化 Spark 作业的实用指南，重点关注自适应查询执行 (AQE) 和性能调优。它解决了诸如“慢任务”问题等常见问题，即单个任务显著延迟作业完成。该指南旨在帮助用户识别和解决这些瓶颈，以实现更高效的数据处理。
-
Google Gemini 应用为 macOS 新增 Spark 智能体式 AI 助手
Google 已将其 Spark 智能体式 AI 助手集成到 macOS 版 Gemini 应用中。此功能允许用户直接在其 Apple 电脑上的 Gemini 应用内利用 Spark 的能力。此举旨在通过提供先进的 AI 辅助来增强 Gemini 应用的功能和用户体验。
-
Databricks 推出 Lakebase 和 LTAP 以统一事务性和分析性数据
Databricks 推出了 Lakebase，一个无服务器 Postgres 数据库，旨在克服传统单体数据库架构的局限性。通过将预写日志 (WAL) 和数据文件外部化到独立的云服务中，Lakebase 旨在提供增强的可扩展性、持久性和简化的可用性。该系统进一步发展为 LTAP（长期分析平台），它支持事务性和分析性工作负载在单一、统一的开放列式数据副本上运行，无需单独的 CDC 管道或数据重复。
-
Suno 推出 Spark 孵化器，应对艺术家许可担忧 · 追踪 4 个来源
AI 音乐生成公司 Suno 推出了名为 Spark 的新孵化器计划。该计划旨在通过提供资助、指导和营销支持来帮助独立艺术家。然而，该计划的条款受到了批评，特别是要求艺术家授予 Suno 其音乐的广泛许可权（包括创作衍生作品）以及强制要求正面宣传公司的禁止诽谤条款。
-
Azure、AWS、GCP 上的 MLOps CI/CD 和特征工程 · 跟踪 2 个来源
该集群探讨了在 Azure、AWS 和 GCP 等主要云平台上实现 MLOps 中的 CI/CD 管道。它强调了 MLOps 与传统 DevOps 的区别，强调了特征工程和可扩展数据处理的重要性。Azure Databricks 结合 Apache Spark 和 Delta Lake 等技术，被认为是管理大规模特征工程和 MLOps 工作流的关键工具。
-
Databricks 发布开源 Impulse，用于大规模传感器数据分析
Databricks 发布了 Impulse，一个开源框架，旨在简化领域工程师对大规模时间序列传感器数据的分析。Impulse 在 Databricks 平台上运行，允许用户使用简单的 Python 表达式分析数百太字节的测量数据，而无需深入了解大数据框架。移动技术公司 AVL 已采用 Impulse 来实现其数据分析现代化，将分析时间从几天大幅缩短至几分钟，并标准化其测量数据分析流程。
-
Spark on Kubernetes：修复日志收集问题的指南
本指南解决了在 Kubernetes 上运行的 Apache Spark 应用程序的日志收集挑战。它提供了一种全面的方法来解决 Spark 历史服务器未能显示信息的问题，这表明驱动程序和执行器日志未被正确收集或存储。文章侧重于确保这些日志可靠地发送到 Amazon S3 进行分析和调试的实用解决方案。
-
Databricks 旨在通过 Omnigent 成为企业 AI 代理的操作系统
Databricks 正将自己定位为企业 AI 代理的操作系统，超越了其数据湖仓的起源。该公司推出了 Omnigent，这是一个开源的元框架，旨在管理和集成各种 AI 代理，包括编码助手和定制的企业工具。这项举措解决了 AI 代理在有效执行任务时需要访问专有数据和业务逻辑所面临的关键挑战，例如可移植性、安全性和成本控制。
-
NVIDIA 的 RTX Spark GPU 将在内存短缺之际挑战 Apple Silicon
据报道，NVIDIA 正在开发一种代号为“RTX Spark”的新 GPU 架构，以挑战 Apple Silicon 处理器中的统一内存方法。这种新架构旨在直接在消费级 GPU 上利用 Apache Spark 的海量数据处理能力，使 NVIDIA 能够从个人电脑主导全球数据处理。这一策略正发生在更广泛的 AI 数据中心热潮之中，该热潮导致 GDDR7 内存短缺，推高了 NVIDIA RTX 5090 等高端消费级 GPU 的价格。
-
Baseten接近以130亿美元估值完成15亿美元融资
据报道，Baseten即将完成一项15亿美元的融资，公司估值达到130亿美元。此次重大融资距离上一轮估值50亿美元的3亿美元E轮融资仅过去五个月。据悉，本轮融资将采用拆分定价，并由Spark、Sands、Altimeter和Wellington等知名投资者联合领投，这表明了对Baseten将推理打造成独立基础设施类别的战略的强烈信心。
-
Project Spark AI 工具旨在加速政府服务
一款名为 Project Spark 的新 AI 工具正在开发中，旨在显著加速政府流程。该计划旨在简化官僚任务并提高公共管理的效率。该项目专注于利用人工智能来提高政府服务的速度和有效性。
-
SPARK方法通过稳定的NTK更新加速去中心化联邦学习
研究人员开发了SPARK，一种在异构数据条件下提高去中心化联邦学习（DFL）收敛速度和稳定性的新方法。SPARK利用分阶段退火的软标签正则化器结合动量来加速神经切线核（NTK）更新，而NTK在这些场景中传统上面临不稳定的挑战。所提出的方法在各种数据分布和网络设置下，与现有基线相比，收敛速度提高了3倍，通信量减少了约70%，同时保持了更高的准确性，显示出显著的改进。
-
新SPARK系统增强LLM安全代码生成
研究人员开发了SPARK，一个新颖的推理时系统，旨在提高大型语言模型生成代码的安全性。SPARK通过激活其训练数据中已存在的潜在安全知识来解决LLM生成存在漏洞的代码的问题，而不是依赖于广泛的微调或外部检索。该系统包含两个组件：一个通过结构化提示向模型提供相关安全信息，另一个在生成过程中对模型的输出应用预先计算的偏差。在包括Claude和DeepSeek在内的多种编程语言和模型上的评估表明，SPARK在保持代码可用性的同时，性能与现有…
-
Databricks推出空间SQL，通过地理数据增强湖仓一体
Databricks已正式推出其空间SQL功能，通过对地理空间数据的原生支持来增强其湖仓一体平台。此次发布包括90多个空间函数、布尔集合运算性能的提升，以及AI/BI仪表板中的原生地图渲染。该集成还扩展到Delta Sharing和Iceberg v3等开放数据格式，旨在简化复杂地理空间数据架构。