GigaChat 3

大多数大型语言模型使用非英语提示词会消耗更多Token和金钱

最近的一项分析显示，在大多数大型语言模型中使用非英语语言会因Token化差异而产生更高的成本。例如，像Claude Opus 5这样的模型，将俄语文本的Token化速率几乎是英语的三倍，即使Token单价相同，也会导致非英语提示词的费用显著增加。这种差异源于Tokenizer在特定语言语料库上的训练方式，英语序列通常被分配单个Token，而其他语言则被分解成更多片段。