The Language-Energy Divide

研究发现：大型语言模型对孟加拉语和印地语的代币化成本飙升

一项最新分析揭示了大型语言模型在代币化不同语言时存在显著差异，导致非英语文本的计算成本增加。虽然一段给定文本的英语通常需要约 44 个代币，但在 Llama 3.1 等模型上，孟加拉语可能需要超过 278 个代币，增加了 6.3 倍。这种现象归因于代币化器的设计选择，而像 Gemma 3 这样的一些模型由于拥有更大、更具包容性的词汇量，在孟加拉语和印地语等语言上的代币化成本要低得多。