Bitter lesson
PulseAugur coverage of Bitter lesson — every cluster mentioning Bitter lesson across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
FIL假说：归纳偏倚为纯数据驱动AI提供替代方案
一篇新论文提出了FIL假说，认为反馈信息循环（FIL）的持续时间是AI的关键尺度维度。作者认为，尽管过去的AI成功受益于近乎瞬时的反馈，但未来在科学和物理世界中的应用将涉及更长的FIL，这限制了纯数据驱动方法的发展。他们提出将归纳偏倚和专家知识作为一种正交方法来解决这一问题，并展示了其在GPU编程任务中的有效性。
-
AI研究论文提倡通过扩展计算能力而非架构创新来推动发展
一篇题为“惨痛教训”的论文认为，当前AI研究过于侧重于优化现有架构，而不是探索新的架构。作者建议，如大型语言模型所示，扩展计算能力和数据是取得进展更有效途径。这种方法虽然计算密集，但在历史上为AI带来了重大突破。
-
Thinking Machines 发布具有 200 毫秒处理能力的实时交互模型
Thinking Machines 发布了一类新的“交互模型”，专为实时对话式 AI 设计。这些模型以快速的 200 毫秒间隔处理音频、视频和文本，无需单独的轮次检测组件。这种架构允许连续的、交错的输入和输出流，从而能够实现边听边说以及在没有明确提示的情况下对视觉线索做出反应等功能。该系统利用两个共同训练的模型：一个用于实时对话的轻量级交互模型，以及一个用于规划和工具使用等复杂任务的后台模型，确保用户的低延迟。
-
Andrej Karpathy 讨论 Sutton 对 LLM 未能体现“苦涩教训”的批评
Andrej Karpathy 讨论了 Geoffrey Hinton 参与的一个播客，Hinton 质疑了人们普遍认为大型语言模型 (LLM) 完全体现了他的“苦涩教训”原则的观点。Hinton 认为 LLM 大量依赖有限的、人类生成的数据，这引发了对偏见和未来局限性的担忧。他将此与他设想的“儿童机器”进行了对比，这种机器通过动态世界互动进行学习，类似于动物的学习方式，而无需对人类文本进行广泛的预训练。Karpathy 同意当前的 …