The Tokenizer Tax

印度语言的词元成本是英语的 4.4 倍

最近的一项分析显示，为大型语言模型（LLM）处理印度语言的词元化成本可能比英语高得多，一些语言每句话的词元数量是英语的四倍多。这种词元数量的增加会因为更大的 KV 缓存而直接影响 GPU 成本，导致并发性降低。研究强调，分词器的选择起着至关重要的作用，因为不同的分词器对同一种语言会产生截然不同的成本倍数。在某些情况下，将印度语言罗马化可以降低成本，但并非普遍适用，其有效性取决于所使用的具体分词器和音译方案。