English(EN) Shuffle V2 in Ray Data: Faster, Fault-Tolerant Joins and Aggregations

Anyscale 改进 Ray Data shuffle 引擎，提升速度和稳定性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-25 09:00

Anyscale 为其 Ray Data 框架推出了 Shuffle V2，这是对其 shuffle 引擎的一次重大重新设计。新版本通过将 shuffle 中间结果物化到对象存储中，而不是累积在长生命周期的聚合器 actor 中，解决了 Shuffle V1 的局限性。这一改变增强了稳定性，允许数据在内存满时溢出到磁盘，并通过使引擎能够同时运行更多任务来提高可扩展性。此外，Shuffle V2 还引入了诸如向量化聚合和跨 shuffle 边界融合等优化，以提高效率。 AI

影响增强了 AI/ML 流水线的数据处理能力，可能加速训练和推理。

排序理由对现有数据处理框架组件的更新。

在 Anyscale blog 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

Anyscale 改进 Ray Data shuffle 引擎，提升速度和稳定性

本文如何被排名

Signal score: 1 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 对现有数据处理框架组件的更新。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

Anyscale blog TIER_1 English(EN) · 2026-08-25 09:00

Ray Data 中的 Shuffle V2：更快速、容错的 Join 和聚合操作

Ray Data's Shuffle V2 redesigns the shuffle engine using object store intermediates instead of actor heaps, enabling spillable state, lineage recovery, and up to 53x faster groupby and join at scale.

本文如何被排名

报道来源 [1]

Ray Data 中的 Shuffle V2：更快速、容错的 Join 和聚合操作

相关实体

相关话题