Claude Sonet

LLM基础：模型、Token和上下文窗口详解

本文解释了大型语言模型（LLM）的基本概念，区分了通用技术（LLM）和具体实例（模型），如GPT-4o或Claude Sonet。它详细介绍了文本如何被分解成Token，这是LLM处理的基本单位，并澄清了一个单词并不总是等于一个Token。文章还定义了上下文窗口是LLM在推理过程中使用的临时内存空间，包括提示、聊天记录和附加文件，这对于保持对话记忆和处理大量数据至关重要。