sentencepiece
PulseAugur coverage of sentencepiece — every cluster mentioning sentencepiece across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
LLM 提示中的尾随空格破坏 BPE 分词，导致标签错误
提示末尾的单个尾随空格可能导致字节对编码（BPE）分词器出现严重问题，从而导致大型语言模型输出不正确。这是因为 BPE 分词器通常将空格附加到单词的开头，而在训练数据中很少遇到独立的空格标记。当提示以空格结尾时，模型会收到意外的标记序列，导致其生成格式错误的标签、双空格或不正确的的大小写。解决方案包括确保提示不以空白字符结尾或实施“标记修复”技术来约束模型的输出。
-
Gradium 开源 Phonon 设备端 TTS 模型
Gradium 发布了 Phonon，这是一个设备端文本转语音模型系列，提供 3100 万和 4000 万参数版本。仅限英语的 Phonon 31m 模型采用 Apache 2.0 许可，体积小巧，仅 64.5 MB，可以在包括 CPU、手机和浏览器在内的各种设备上本地生成语音，无需 GPU。Gradium 声称 Phonon 实现了具有竞争力的性能，其中 31m 模型在挑战性文本数据集上报告的词错误率为 1.70%，并在 CPU 上…
-
分词和 AI 代理技能影响成本和性能
理解语言模型如何处理文本对于管理成本和预测行为至关重要，因为分词会显著影响计费和上下文窗口的使用。不同的分词方法，如 BPE 和 SentencePiece，在不同语言和数据类型上的效率各不相同，而较新的模型在代码和非英语文本上的性能有所提高。对于 AI 代理而言，技能的集成方式也至关重要；声称具有相似触发器、存在隐藏依赖项或默认设置冲突的技能可能导致性能下降和不可预测的结果。仔细选择和管理代理技能配置，考虑更新日期和版本敏感性等因素…
-
VLM幻觉基准受Token读出选择的干扰
对用于评估视觉语言模型（VLM）幻觉的POPE基准进行的一项新审计显示，Token读出的选择会显著影响性能。研究人员发现，LLaVA-1.5-7B模型在对抗性分割上的F1分数，根据评估代码是否正确处理了由SentencePiece分词产生的“ Yes”和“ No”等带空格前缀的Token，可能会变化超过6个点。这种协议层面的混淆，而非模型特定的幻觉缓解措施，似乎解释了先前研究中报告的大幅提升，因为在其他VLM上也观察到了类似的问题。
-
ArcLM 2.0 通过模块化 Python 框架简化语言模型实验
ArcLM，一个用于语言模型的 Python 框架，已发布 2.0 版本。此次更新将核心实用工具与计算密集型功能分离，允许用户在不强制依赖 PyTorch 的情况下安装基础包。本教程演示了如何安装 ArcLM，使用简单的单词分词器将文本分词为数字 ID，配置嵌入维度和上下文长度等模型设置，以及运行一个小型因果语言模型。用户还可以使用 YAML 文件保存和加载配置。
-
新的BHARATI分词器提高了古典印度语言的效率
研究人员开发了BHARATI，这是一套专为梵语和泰米尔语等古典印度语言设计的新分词器。与难以处理这些语言的黏着语形态和 संधि（sandhi）的标准算法不同，BHARATI实现了更有效的分段。这导致序列长度缩短，有效地增加了下游语言模型的上下文窗口，并提高了在专门的印度知识体系术语上的性能。
-
新的 VEXMLM 模型提升了非洲语言的性能
研究人员开发了 VEXMLM，这是一种新的语言模型，旨在提高低资源非洲语言（特别是使用埃塞俄比亚文字的阿姆哈拉语和提格利尼亚语）的性能。该模型解决了主要在拉丁字母脚本上训练的多语言模型中常见的词汇外比率高和子词碎片化问题。VEXMLM 使用自定义的 SentencePiece 分词器和扩展词汇表，在 19 种非洲语言的问答、命名实体识别和情感分析任务中取得了显著的进步。
-
minbpe vs turboBPE: 更快的 LLM BPE 分词
对字节对编码（BPE）分词算法的两种不同实现进行了比较：minbpe，一个纯 Python 的教学工具；以及 turboBPE，一个显著更快的基于 C 扩展的实现。虽然 minbpe 非常适合理解核心 BPE 概念，但由于其迭代统计扫描方法，其性能对于大规模训练来说不切实际。turboBPE 通过引入批量合并和编译代码来解决这个问题，在保持与 minbpe 兼容的 API 的同时，大大缩短了训练和编码时间。
-
LLM 详解：从数据到文本生成
本文详细解释了大型语言模型 (LLM) 的运作方式，分解了其操作所涉及的复杂流程。它涵盖了从数据准备和分词到嵌入、Transformer 架构中的自注意力机制以及最终预测下一个词元（token）的关键阶段。该解释旨在为普通读者揭开这一过程的神秘面纱，强调了诸如字节对编码 (Byte Pair Encoding) 和词元向量表示在赋予词元含义方面的作用等关键概念。
-
研究人员提出用于语言模型的语义分词方法
一位研究人员提出了一种新颖的语言模型分词方案，其中词元几何本身反映语义关系，超越了当前主要捕捉统计结构的方法。该方法会将概念映射到代码，使得语义相似的概念获得相似的代码，从而可能提高样本效率、训练速度和可解释性。该想法包括构建语义图、学习紧凑的符号编码，并对其进行优化，使代码距离与语义距离相关联，目标是直接将语义结构嵌入表示中。
-
Perplexity AI 开源 Rust 分词器，大幅降低 LLM 推理延迟
Perplexity AI 已开源一个用 Rust 实现的新 Unigram 分词器，该分词器显著降低了 LLM 推理的延迟和 CPU 利用率。与 Hugging Face 的 tokenizers Crate 相比，这个新分词器实现了高达 5 倍的 p50 延迟降低，并在生产环境中将 CPU 使用量减少了 5-6 倍。该优化针对 XLM-RoBERTa 等常用于排名和检索任务的模型，通过解决影响小型模型和重排器延迟的分词瓶颈。
-
LLM 分词器惩罚随机字符删除，增加成本
一位 AI 系统管理员发现，为了节省 token 成本而从 LLM prompt 中随机删除字符实际上会增加 token 数量。这是因为像字节对编码 (BPE) 和 SentencePiece 这样的分词器是在干净文本上训练的，并且难以处理损坏的输入。当删除字符时，分词器会回退到对更小的片段进行编码，通常是在字节级别，导致 token 数量比原始文本更多。一项实验表明，删除 25% 的字符会导致 prompt token 数量增加 2…