WordPiece
PulseAugur coverage of WordPiece — every cluster mentioning WordPiece across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LLM分词详解：文本如何转化为AI模型的数字表示
大型语言模型（LLM）在处理文本前，需要将其转换为称为“标记”（token）的数字表示。一个标记可以是一个词、词的一部分或标点符号，每个标记都被分配一个唯一的标记ID。不同的LLM使用不同的分词器，导致相同的文本可能拥有不同的标记ID。像字节对编码（BPE）、字节级BPE（BBPE）和WordPiece等算法被用来管理词汇量大小和序列长度，以解决字符级分词中固有的词汇外（out-of-vocabulary）单词和长序列等问题。处理的标…
-
新的JOLT方法优化分词，优于BPE
研究人员开发了一种名为联合优化贪婪最长匹配分词（JOLT）的新方法，以改进子词词汇训练。JOLT将词汇学习表述为整数规划问题，确保优化后的分词与实践中使用的贪婪最长匹配解码一致，这与以往基于启发式的方法（如字节对编码（BPE））不同。该方法通过求解线性规划松弛并选择性地添加高阶分词来扩展。JOLT展示了显著的改进，缩小了BPE留下的89.6-99.4%的压缩差距，并在保留数据上产生的词元数量减少了多达0.78%。
-
语言模型微调以翻译无空格的高棉语
一个语言模型被微调以翻译高棉语，这是一种单词之间没有空格的语言，使用了8000个句子和单个GPU的数据集。该过程涉及调整WordPiece和字节对编码等分词方法，这些方法通常用于像标准中文、英文和日文这样的有空格的语言。这项实验探讨了GPT-3和Bert等模型处理此类语言挑战的能力。
-
新方法使轻量级ASR模型适应孟加拉语
研究人员开发了一种新颖的方法，将轻量级语音识别模型（如Moonshine）应用于孟加拉语等形态丰富的语言。识别出的核心问题是面向英语的tokenizer导致了自回归崩溃。通过将BanglaBERT WordPiece词汇表移植到解码器中，模型的token肥沃度显著降低，缓解了解码不稳定性。该方法在Lipi-Ghor数据集上实现了21.54%的具有竞争力的词错误率，为ASR模型在不进行大量重新训练的情况下进行跨脚本适应提供了可扩展的解决方案。
-
新基准QuechuaTok凸显黏着语分词的局限性
一个名为QuechuaTok的新基准已被开发出来，用于评估黏着语、低资源语言的分词策略。标准的指标如生育率（fertility rate）是不够的，因此QuechuaTok引入了词缀边界准确性（MorphAcc）。该研究在南部盖丘亚语上比较了BPE、Unigram LM、WordPiece以及一个具有形态感知能力的PRPE分词器，发现PRPE比优先考虑表面词形（surface word forms）的BPE取得了显著更高的MorphAcc。
-
新的IHUBERT模型通过精选预训练提升波斯语理解能力
研究人员开发了IHUBERT，一个基于RoBERTa-base编码器的新波斯语语言模型。该模型在Sepahr-Danesh集合中一个45 GB的精选数据集上进行了训练，总计约70-80亿个token。IHUBERT采用多阶段预处理流程，包括语义去重，以提高语料库质量并平衡领域表示。该模型在各种自然语言理解基准测试中表现强劲，尤其在抽取式问答任务中表现出色。
-
minbpe vs turboBPE: 更快的 LLM BPE 分词
对字节对编码（BPE）分词算法的两种不同实现进行了比较：minbpe，一个纯 Python 的教学工具；以及 turboBPE，一个显著更快的基于 C 扩展的实现。虽然 minbpe 非常适合理解核心 BPE 概念，但由于其迭代统计扫描方法，其性能对于大规模训练来说不切实际。turboBPE 通过引入批量合并和编译代码来解决这个问题，在保持与 minbpe 兼容的 API 的同时，大大缩短了训练和编码时间。
-
Morpheus：新的土耳其语模型实现了卓越的形态学对齐
研究人员开发了 Morpheus，这是一种专为土耳其语设计的新型神经分词器和词嵌入器。与可能破坏土耳其语黏着语结构的传统子词分词器不同，Morpheus 能够准确识别词素，实现无损分词并生成结构化的词嵌入。该模型在形态学对齐和词汇检索任务中表现出卓越的性能，并且与标准的子词分词器相比，在内存使用方面也显示出效率。
-
新的ToaST分词器将词元数量减少了11%以上
研究人员开发了一种名为基于分裂树的分词（ToaST）的新子词分词方法。该方法通过将文本递归地分裂成二叉树并基于整数规划松弛选择词汇来优化压缩。与BPE和WordPiece等现有方法相比，ToaST在词元数量上减少了11%，并在训练1.5B参数语言模型方面取得了更好的性能。
-
论文分析数据表示如何影响Transformer上下文
一篇新论文分析了数据（如字节、字符或子词标记）的不同表示如何影响Transformer模型的性能。该研究引入了“分片”的概念，解释了为什么即使有更大的上下文窗口，更小的单元也会降低预测准确性。相反，该研究表明分词如何有效地扩展感知到的上下文窗口，为理解Transformer中的表示选择提供了一个框架。