大型语言模型（LLMs）仅仅预测下一个词元（token）的概念是一种误导性的过度简化。与生成无意义文本的简单马尔可夫链不同，LLMs 从海量数据集中学习复杂的模式、语法，甚至上下文理解，以生成连贯有意义的输出。这种复杂的预测过程需要模型内化知识和推理能力，以准确预测序列中的后续词元。 AI
影响 阐明了LLM训练的复杂性质，超越了简单的概率猜测，反驳了普遍存在的误解。
排序理由 该集群讨论的是LLM训练和输出生成的概念性理解，而不是特定的发布或事件。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p>I find that a lot of people have trouble with this concept of predicting the next token. And by trouble, I mean that they struggle to understand what it actually means to predict the next token. It seems simpler than it is. Because when you say "predict the next token," I thin…
<p><span>I’m fed up of hearing about how LLMs are next token predictors, and therefore they <cannot do some task> <aren’t </span><i><span>really</span></i><span> doing cognition> <are just guessing>.</span></p><p><span>There’s lots of philosophical objections, b…