Chunkr

Rust 库 Chunkr 在文本分块方面实现 20 倍加速

一个名为 Chunkr 的新 Rust 库已被开发出来，旨在显著加快 AI 应用的文本分块速度。基准测试显示，与 LangChain 和 LlamaIndex 等现有的 Python 库相比，Chunkr 的速度最快可达 20 倍，尤其是在处理大型文档和各种分块策略时。该库还提供了一个原生的 PDF 加载器，旨在为 AI 工作流中的数据准备提供更有效的解决方案。