Rios

新基准QuechuaTok凸显黏着语分词的局限性

一个名为QuechuaTok的新基准已被开发出来，用于评估黏着语、低资源语言的分词策略。标准的指标如生育率（fertility rate）是不够的，因此QuechuaTok引入了词缀边界准确性（MorphAcc）。该研究在南部盖丘亚语上比较了BPE、Unigram LM、WordPiece以及一个具有形态感知能力的PRPE分词器，发现PRPE比优先考虑表面词形（surface word forms）的BPE取得了显著更高的MorphAcc。