sentencepiece
PulseAugur coverage of sentencepiece — every cluster mentioning sentencepiece across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 VEXMLM 模型提升了非洲语言的性能
研究人员开发了 VEXMLM，这是一种新的语言模型，旨在提高低资源非洲语言（特别是使用埃塞俄比亚文字的阿姆哈拉语和提格利尼亚语）的性能。该模型解决了主要在拉丁字母脚本上训练的多语言模型中常见的词汇外比率高和子词碎片化问题。VEXMLM 使用自定义的 SentencePiece 分词器和扩展词汇表，在 19 种非洲语言的问答、命名实体识别和情感分析任务中取得了显著的进步。
-
minbpe vs turboBPE: 更快的 LLM BPE 分词
对字节对编码（BPE）分词算法的两种不同实现进行了比较：minbpe，一个纯 Python 的教学工具；以及 turboBPE，一个显著更快的基于 C 扩展的实现。虽然 minbpe 非常适合理解核心 BPE 概念，但由于其迭代统计扫描方法，其性能对于大规模训练来说不切实际。turboBPE 通过引入批量合并和编译代码来解决这个问题，在保持与 minbpe 兼容的 API 的同时，大大缩短了训练和编码时间。
-
LLM 详解：从数据到文本生成
本文详细解释了大型语言模型 (LLM) 的运作方式，分解了其操作所涉及的复杂流程。它涵盖了从数据准备和分词到嵌入、Transformer 架构中的自注意力机制以及最终预测下一个词元（token）的关键阶段。该解释旨在为普通读者揭开这一过程的神秘面纱，强调了诸如字节对编码 (Byte Pair Encoding) 和词元向量表示在赋予词元含义方面的作用等关键概念。
-
研究人员提出用于语言模型的语义分词方法
一位研究人员提出了一种新颖的语言模型分词方案，其中词元几何本身反映语义关系，超越了当前主要捕捉统计结构的方法。该方法会将概念映射到代码，使得语义相似的概念获得相似的代码，从而可能提高样本效率、训练速度和可解释性。该想法包括构建语义图、学习紧凑的符号编码，并对其进行优化，使代码距离与语义距离相关联，目标是直接将语义结构嵌入表示中。
-
Perplexity AI 开源 Rust 分词器，大幅降低 LLM 推理延迟
Perplexity AI 已开源一个用 Rust 实现的新 Unigram 分词器，该分词器显著降低了 LLM 推理的延迟和 CPU 利用率。与 Hugging Face 的 tokenizers Crate 相比，这个新分词器实现了高达 5 倍的 p50 延迟降低，并在生产环境中将 CPU 使用量减少了 5-6 倍。该优化针对 XLM-RoBERTa 等常用于排名和检索任务的模型，通过解决影响小型模型和重排器延迟的分词瓶颈。
-
LLM 分词器惩罚随机字符删除，增加成本
一位 AI 系统管理员发现，为了节省 token 成本而从 LLM prompt 中随机删除字符实际上会增加 token 数量。这是因为像字节对编码 (BPE) 和 SentencePiece 这样的分词器是在干净文本上训练的，并且难以处理损坏的输入。当删除字符时，分词器会回退到对更小的片段进行编码，通常是在字节级别，导致 token 数量比原始文本更多。一项实验表明，删除 25% 的字符会导致 prompt token 数量增加 2…