Ray Data
PulseAugur coverage of Ray Data — every cluster mentioning Ray Data across labs, papers, and developer communities, ranked by signal.
- 2026-08-25 product_launch Anyscale released new GPU-native operators for Ray Data, integrating cuDF and RapidsMPF. 来源
1 天有情绪数据
-
Anyscale 改进 Ray Data shuffle 引擎，提升速度和稳定性
Anyscale 为其 Ray Data 框架推出了 Shuffle V2，这是对其 shuffle 引擎的一次重大重新设计。新版本通过将 shuffle 中间结果物化到对象存储中，而不是累积在长生命周期的聚合器 actor 中，解决了 Shuffle V1 的局限性。这一改变增强了稳定性，允许数据在内存满时溢出到磁盘，并通过使引擎能够同时运行更多任务来提高可扩展性。此外，Shuffle V2 还引入了诸如向量化聚合和跨 shuffl…
-
Anyscale 通过 GPU 原生运算符提升 Ray Data 以支持 AI 工作负载
Anyscale 增强了其 Ray Data 引擎，引入了 GPU 原生运算符，并与 NVIDIA 合作集成了 cuDF 和 RapidsMPF。这些更新允许数据处理任务直接在 GPU 上执行，为 AI 工作负载带来显著的性能提升。新功能包括将 cuDF 作为一流的批处理格式以及 GPU 原生 shuffle 后端，与基于 CPU 的解决方案相比，在特定数据整理任务中，总拥有成本最多可降低 3 倍。
-
Anyscale 提升 Ray 在大规模 AI 训练集群中的性能
Anyscale 已显著增强其 Ray 框架，以更好地支持大规模 AI 工作负载。最近的改进解决了驱动程序性能和 Actor 调度中的瓶颈，从而显著加快了批处理推理和数据混洗任务的速度。这些优化使 Ray 能够处理更大的训练集群，扩展到 10,000 个节点并支持多达 40,000 个 Actor，与之前的能力相比有了显著提升。
-
Anyscale 使用 Alluxio 缓存将 AI 训练数据延迟降低 20 倍
Anyscale 通过将分布式缓存层 Alluxio 与其 Ray 平台集成，显著提高了 AI 训练数据读取速度。通过在与 Ray 集群共置的 NVMe SSD 上部署 Alluxio，基准测试显示跨区域数据访问延迟降低了 20 倍。该解决方案将数据本地缓存，消除了在训练周期和超参数扫描期间重复进行昂贵的跨区域传输的需要。
-
Anyscale 详解 Ray Data 以扩展多模态 AI 数据管道
Anyscale 的博客文章详细介绍了扩展多模态 AI 数据管道所面临的挑战，其中预处理通常会导致 GPU 资源不足，从而造成利用率低下。文章解释说，传统的阶段式批处理执行（涉及在预处理和训练之间将中间数据写入存储）由于显著的 I/O 成本和延迟而效率低下。文章提出了一种使用 Ray Data 的分离式流式架构，将预处理后的数据直接从专用的预处理集群流式传输到 GPU 工作节点，绕过存储瓶颈并提高 GPU 利用率。
-
Anyscale 发布用于 Ray 工作负载监控的持久化仪表板
Anyscale 为其 Ray 平台推出了新的集群和 Actor 仪表板，提供完全持久化的监控和调试工具。这些仪表板解决了之前临时数据的局限性，即使在集群关闭后也能对 Ray 工作负载进行历史分析。增强的可观测性旨在处理大规模 AI 和数据处理作业，提供改进的用户体验，并在各种工作负载和系统级洞察之间实现无缝导航。