Standard BPE

Pruned BPE 通过优化可见词汇表来提高分词效率

研究人员推出了一种新颖的方法 Pruned BPE，用于增强子词分词的 Byte Pair Encoding (BPE)。与将所有学习到的合并标记暴露给下游模型的标准 BPE 不同，Pruned BPE 会识别并将低曝光标记指定为仅内部合并节点。此方法将其词汇槽重新分配给更常用的标记，从而实现更高效的可见词汇表。实验表明，在英语和中文语料库上，Pruned BPE 与 Standard BPE 相比，始终能缩短编码长度，在不影响语言模…