Giacomo Tesio 认为，大型语言模型（LLM）作为其训练数据的失真压缩，而不是展现真正的智能。他推测，LLM通过组装统计相关的数据片段来模仿理解，由于训练材料的浩瀚以及用户有限的接触，用户不太可能将这些片段识别为直接引用。Tesio 认为这一过程是对香农定理和LLM工作原理的误解。 AI
影响 挑战了LLM智能的概念，认为它们是复杂的 数据压缩工具，而非认知实体。
排序理由 由一位实名人士撰写的评论文章，讨论LLM的性质。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
You are either misunderstanding the #Shannon theorem, #LLM working or both. In fact, LLM's weights are lossy compressions of the source data ("training data", in #AI parlance). They mimic intelligence by chaining statistically related fragments of such source data that the users …