pyarrow
PulseAugur coverage of pyarrow — every cluster mentioning pyarrow across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
NVIDIA Cosmos3-DROID 数据集赋能流式机器人学习管道
本教程详细介绍了如何使用 NVIDIA Cosmos3-DROID 数据集创建端到端的流式机器人学习管道。该过程包括从数据集文件中构建元数据图，并使用 PyArrow 进行 HTTP 字节范围访问以选择性地读取数据。将情节转换为状态-动作轨迹，并使用 PyAV/FFmpeg 解码视频窗口。然后，系统对观测值和动作进行归一化，构建 PyTorch 数据集，并训练一个多模态行为克隆策略，随后对其进行评估。
-
Anyscale 通过 GPU 原生运算符提升 Ray Data 以支持 AI 工作负载
Anyscale 增强了其 Ray Data 引擎，引入了 GPU 原生运算符，并与 NVIDIA 合作集成了 cuDF 和 RapidsMPF。这些更新允许数据处理任务直接在 GPU 上执行，为 AI 工作负载带来显著的性能提升。新功能包括将 cuDF 作为一流的批处理格式以及 GPU 原生 shuffle 后端，与基于 CPU 的解决方案相比，在特定数据整理任务中，总拥有成本最多可降低 3 倍。
-
新的 Rust 随机森林 'Fru' 比 scikit-learn 和 ranger 速度更快
一种新的基于 Rust 的随机森林实现 Fru 已开发完成并发表在 Software X 期刊上。该实现相比现有的流行库在性能和可扩展性方面都有显著提升。Fru 在 Python 中实现了 scikit-learn 几倍的速度，并且通常比 R 的 ranger 包快百分之几十，在特定用例中速度提升潜力可达几倍。该项目还引入了一种新颖的排列重要性实现，并为 Python 和 R 提供了绑定，可与 pandas 和 polars 等库无缝集成。