js-tiktoken

大型语言模型将文本处理为令牌，影响成本和质量

大型语言模型（LLMs）并非处理原始文本，而是将其转换为称为令牌的数值表示。这个令牌化过程，通常使用字节对编码等算法，是像ChatGPT、Claude、GPT-4o和Llama这样的模型解释输入和生成输出的基础。理解令牌对于管理成本至关重要，因为计费和上下文限制是基于令牌数量而不是字符或单词。该过程包括将文本转换为令牌，模型处理这些数值序列，然后将输出令牌解码回人类可读的文本。