Unigram tokenizer
PulseAugur coverage of Unigram tokenizer — every cluster mentioning Unigram tokenizer across labs, papers, and developer communities, ranked by signal.
-
MinGram 分词器简化训练，提高压缩率和对齐效果
研究人员推出了一种名为 MinGram 的新型极简单元语言模型分词器，旨在简化训练过程，同时保持高压缩率和形态对齐。MinGram 通过使用派生自 BPE 的种子词汇表和简化的训练程序来实现这一目标，该程序去除了标准单元语言模型分词器中的复杂组件。在六种语言的测试中，MinGram 在压缩率方面优于 BPE 和标准单元语言模型方法，并且在下游语言模型训练中的表现（以每字节比特数衡量）始终优于 BPE。
-
Perplexity AI 开源 Rust 分词器，大幅降低 LLM 推理延迟
Perplexity AI 已开源一个用 Rust 实现的新 Unigram 分词器，该分词器显著降低了 LLM 推理的延迟和 CPU 利用率。与 Hugging Face 的 tokenizers Crate 相比，这个新分词器实现了高达 5 倍的 p50 延迟降低，并在生产环境中将 CPU 使用量减少了 5-6 倍。该优化针对 XLM-RoBERTa 等常用于排名和检索任务的模型，通过解决影响小型模型和重排器延迟的分词瓶颈。
-
Perplexity AI 开源 Unigram 分词器，速度提升 5 倍
Perplexity AI 已开源一款新的 Unigram 分词器，旨在显著提高 CPU 性能。与 HuggingFace 的实现相比，这款新分词器的延迟降低了 5 倍；与 SentencePiece C++ 相比，延迟降低了 2 倍。优化后的分词器针对具有大型词汇表（如 XLM-RoBERTa 的 250K 标记 Unigram 词汇表）的场景，这些场景常用于排名和检索任务。