Top K Sampling

理解LLM基础：Token、上下文窗口和温度

本文解释了大型语言模型（LLM）背后的基本概念，重点介绍了影响其文本生成能力的几个关键要素。文章详细说明了Token是什么，包括词、子词、短语和字符Token等不同类型，并介绍了字节对编码（BPE）作为一种常见的Token化方法。解释还涵盖了上下文窗口，它决定了LLM一次可以处理多少文本，以及更大的上下文窗口与计算成本之间的权衡。最后，文章简要介绍了温度作为控制LLM输出的随机性和平衡连贯性的参数。