Havon v3

新的多词分词器Havon v4在204种语言上表现优于GPT-4o

研究人员开发了一种名为Havon v4的新型多词分词器，该分词器在204种语言上的效率均优于GPT-4o的分词器。Havon v4，尤其是在使用更大的词汇表进行训练时，对许多语言所需的词数更少，包括英语和印地语都有显著的提升。虽然Havon v3在印度语言上表现强劲，但v4在其基础上增加了多词训练阶段，为英语和更广泛的语言提供了更好的压缩效果，尽管没有空格的文字脚本获益较少。