Andrej Karpathy 讨论 Sutton 对 LLM 未能体现“苦涩教训”的批评

Andrej Karpathy 讨论了 Geoffrey Hinton 参与的一个播客，Hinton 质疑了人们普遍认为大型语言模型 (LLM) 完全体现了他的“苦涩教训”原则的观点。Hinton 认为 LLM 大量依赖有限的、人类生成的数据，这引发了对偏见和未来局限性的担忧。他将此与他设想的“儿童机器”进行了对比，这种机器通过动态世界互动进行学习，类似于动物的学习方式，而无需对人类文本进行广泛的预训练。Karpathy 同意当前的 LLM 是复杂的人类产物，而不是纯粹的“苦涩教训”的例子，并强调了人类在数据策展和调整中的参与。 AI

排序理由 一篇由知名人工智能研究人员撰写的观点文章，讨论了基础人工智能概念和近期模型趋势。

在 Andrej Karpathy 阅读 →

• Alan Turing
• AlphaGo
• AlphaZero
• Andrej Karpathy
• The Bitter Lesson
• Dwarkesh Patel
• Geoffrey Hinton
• LLM

• 观点
• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →