Hugging Face tokenizers crate

Perplexity AI 开源 Rust 分词器，大幅降低 LLM 推理延迟

Perplexity AI 已开源一个用 Rust 实现的新 Unigram 分词器，该分词器显著降低了 LLM 推理的延迟和 CPU 利用率。与 Hugging Face 的 tokenizers Crate 相比，这个新分词器实现了高达 5 倍的 p50 延迟降低，并在生产环境中将 CPU 使用量减少了 5-6 倍。该优化针对 XLM-RoBERTa 等常用于排名和检索任务的模型，通过解决影响小型模型和重排器延迟的分词瓶颈。