The Functionalizer

新的“Functionalizer”预分词器提高了大型语言模型的词汇效率

研究人员开发了“The Functionalizer”，一个新颖的预分词器框架，旨在提高子词分词效率。该系统将拼写和结构变体分解为操作码和操作数的组合流，并使用Unicode私用区进行编码。Functionalizer支持大小写、变音符号和字符重复的可逆转换，从而显著减小词汇量，并在各种语料库中将词汇槽需求减少高达16%。对GPT-2规模模型的初步评估表明，在保持文本连贯性的同时，代码语法有效性和字符困惑度得到了改善。