BPE-dropout

研究：驱动大型语言模型自适应计算的是分词，而非难度

一篇新的研究论文挑战了这样一种假设：token是语言模型中难度均等的单位。这项研究以Qwen3和BLOOM等模型为重点，证明了单词如何被分段成token会显著影响自适应计算在单词内部的分配方式。这种分段效应因语言而异，孟加拉语的模式与英语、德语和土耳其语不同。研究表明，词内意外度（surprisal）比每token字符数更能预测这种计算分配。