TopDownComp

新研究解构语言模型的分词算法

研究人员引入了两种新的分词算法，BottomUpLL 和 TopDownComp，以解构语言模型分词器中优化目标和搜索程序的影响。通过创建一个 2x2 的设计空间，他们比较了自下而上和自上而下的方法与压缩和对数似然目标。他们的发现表明，搜索程序而不是目标是性能的主要驱动因素，自下而上的分词器通常能实现更低的每字节比特数。然而，在 BLiMP 任务上，设计选择与性能之间没有发现一致的关系。