pyo3-polars

fenic 使用 Rust 插件扩展 Polars 以进行 AI 管道操作

fenic 库开发了一种方法，通过使用 Rust 表达式插件来扩展 Polars DataFrame 引擎的自定义操作。这种方法解决了在使用 Python UDFs 进行 AI 和 LLM 管道任务（如文本分块、提示模板化和模糊匹配）时遇到的性能限制和组合问题。通过 pyo3-polars 将这些操作实现为 Rust 插件，fenic 将它们直接集成到 Polars 的表达式引擎中，从而实现更快、类型安全且更具组合性的数据处理管道。