120B Parameter model

LLM 基础：模型、权重和下一个词预测详解

这篇入门文章解释了大型语言模型 (LLM) 的基本概念。它将模型定义为由权重组成的方程，权重在训练过程中进行调整以产生期望的输出。文章阐明，模型中的参数是指权重的数量，表明了训练数据和上下文的程度。它还详细介绍了 LLM 如何作为下一个词预测器运行，为各种可能性分配分数，并使用温度、top-k 和 top-p 等参数来控制输出的随机性和选择。最后，它将 token 介绍为不完整的文本片段，并将上下文窗口定义为模型处理 token 的短期记忆。