r50k_base

大语言模型（LLM）的Token：理解Token与单词的区别

理解大语言模型（LLM）如何处理文本至关重要，因为“Token”是基本单位，而非单词。分词器将文本分解成这些Token，然后映射到整数ID。这个过程意味着一个单词可能被拆分成多个Token，或者多个字符可以构成一个Token，具体取决于所使用的特定分词器和编码，例如OpenAI的tiktoken配合cl100k_base或r50k_base。普遍认为的“1个Token约等于4个字符”的经验法则是一种过度简化，在处理代码、URL、表情符…