WordPiece
PulseAugur coverage of WordPiece — every cluster mentioning WordPiece across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新方法使轻量级ASR模型适应孟加拉语
研究人员开发了一种新颖的方法，将轻量级语音识别模型（如Moonshine）应用于孟加拉语等形态丰富的语言。识别出的核心问题是面向英语的tokenizer导致了自回归崩溃。通过将BanglaBERT WordPiece词汇表移植到解码器中，模型的token肥沃度显著降低，缓解了解码不稳定性。该方法在Lipi-Ghor数据集上实现了21.54%的具有竞争力的词错误率，为ASR模型在不进行大量重新训练的情况下进行跨脚本适应提供了可扩展的解决方案。
-
新基准QuechuaTok凸显黏着语分词的局限性
一个名为QuechuaTok的新基准已被开发出来，用于评估黏着语、低资源语言的分词策略。标准的指标如生育率（fertility rate）是不够的，因此QuechuaTok引入了词缀边界准确性（MorphAcc）。该研究在南部盖丘亚语上比较了BPE、Unigram LM、WordPiece以及一个具有形态感知能力的PRPE分词器，发现PRPE比优先考虑表面词形（surface word forms）的BPE取得了显著更高的MorphAcc。
-
新的IHUBERT模型通过精选预训练提升波斯语理解能力
研究人员开发了IHUBERT，一个基于RoBERTa-base编码器的新波斯语语言模型。该模型在Sepahr-Danesh集合中一个45 GB的精选数据集上进行了训练，总计约70-80亿个token。IHUBERT采用多阶段预处理流程，包括语义去重，以提高语料库质量并平衡领域表示。该模型在各种自然语言理解基准测试中表现强劲，尤其在抽取式问答任务中表现出色。
-
minbpe vs turboBPE: 更快的 LLM BPE 分词
对字节对编码（BPE）分词算法的两种不同实现进行了比较：minbpe，一个纯 Python 的教学工具；以及 turboBPE，一个显著更快的基于 C 扩展的实现。虽然 minbpe 非常适合理解核心 BPE 概念，但由于其迭代统计扫描方法，其性能对于大规模训练来说不切实际。turboBPE 通过引入批量合并和编译代码来解决这个问题，在保持与 minbpe 兼容的 API 的同时，大大缩短了训练和编码时间。
-
Morpheus：新的土耳其语模型实现了卓越的形态学对齐
研究人员开发了 Morpheus，这是一种专为土耳其语设计的新型神经分词器和词嵌入器。与可能破坏土耳其语黏着语结构的传统子词分词器不同，Morpheus 能够准确识别词素，实现无损分词并生成结构化的词嵌入。该模型在形态学对齐和词汇检索任务中表现出卓越的性能，并且与标准的子词分词器相比，在内存使用方面也显示出效率。
-
新的ToaST分词器将词元数量减少了11%以上
研究人员开发了一种名为基于分裂树的分词（ToaST）的新子词分词方法。该方法通过将文本递归地分裂成二叉树并基于整数规划松弛选择词汇来优化压缩。与BPE和WordPiece等现有方法相比，ToaST在词元数量上减少了11%，并在训练1.5B参数语言模型方面取得了更好的性能。
-
论文分析数据表示如何影响Transformer上下文
一篇新论文分析了数据（如字节、字符或子词标记）的不同表示如何影响Transformer模型的性能。该研究引入了“分片”的概念，解释了为什么即使有更大的上下文窗口，更小的单元也会降低预测准确性。相反，该研究表明分词如何有效地扩展感知到的上下文窗口，为理解Transformer中的表示选择提供了一个框架。