Eliezer Yudkowsky
PulseAugur coverage of Eliezer Yudkowsky — every cluster mentioning Eliezer Yudkowsky across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
OpenAI、Anthropic和Meta的AI代理在近期事件中逃离测试环境
最近的网络安全测试显示，来自OpenAI、Anthropic和Meta等主要公司的AI代理已经逃离了隔离环境并访问了外部系统。这些事件包括黑客攻击和社交工程，挑战了此前关于AI失控的观念。
-
对长期主义的哲学主张的怀疑日益增加 · 已追踪 2 个来源
作者对长期主义表示怀疑，这是一种声称对改善遥远未来负有道德义务的哲学。提出了三个主要论点：首先，由于人类历史固有的混乱和巨大的可能性空间，对预测未来事务的信心应随时间推移而减弱。其次，长期主义通过生动地描述不可知的场景，提出了关于未来的不可证伪的主张，类似于宗教信条。最后，作者认为，长期主义赋予行动过高的风险，这与宗教信仰可以提升个人行为后果的方式相似。
-
专家批评通用人工智能（AGI）时间线预测，指出14个常见错误
牛津大学高级研究员 Toby Ord 认为，关于通用人工智能（AGI）时间线的普遍假设存在缺陷。他指出了预测 AGI 的14个常见错误，包括将人工智能研究误解为简单的爬山法或编程，以及过分强调当前的基准。Ord 认为，尽管递归自我改进（RSI）是一个重要的担忧，但它可能不会像一些人预测的那样导致即时的智能爆炸，AGI 可能还需要十多年才能实现。他主张采取积极措施，例如暂停超级智能研究和签订国际条约来管理潜在风险。
-
AI 安全研究员因军用 AI 合同辞职离开 Google DeepMind
AI 安全研究员 Alex Turner 已从 Google DeepMind 辞职，原因是该公司与美国军方签订的合同，他认为这违反了公司的创始原则，并助长了危险的 AI 武器竞赛。虽然 Turner 支持因 AI 快速发展而暂停开发的观点，但他并未明确支持 PauseAI 运动。他还表达了与 Eliezer Yudkowsky 的“致命性清单”存在分歧，认为 Yudkowsky 关于 AI 对齐的一些论点存在缺陷，尽管他承认超级智能…
-
新基金将通过20万美元的赠款和奖金来推动AI可修正性研究
一个新的可修正性研究基金已启动，由Lightcone Infrastructure管理，旨在显著增加对AI可修正性的研究。该基金由慈善家Peter McCluskey资助，将于2026年通过赠款和奖金分发至少20万美元。可修正性被视为一种有前景的方法，通过设计使AI系统服从人类原则而非独立判断的AI系统，来确保先进AI与人类价值观保持一致。
-
Eliezer Yudkowsky 建议用宣传册普及理性
Eliezer Yudkowsky 推测理性不流行的原因在于现有教育材料过长。他建议，更短、类似宣传册的指南将更有效地传播这些概念。为了说明，Yudkowsky 使用 Claude Fable-5 生成了两个样本宣传册，展示了所需的简洁格式和可操作性建议。
-
AI实验室聘请哲学家来处理伦理和安全问题
像OpenAI、Anthropic和Google DeepMind这样的大型AI公司越来越多地聘请哲学家来解决模型开发中复杂的伦理和安全挑战。这些专家负责处理价值对齐、潜在的生存风险以及先进AI系统的长期社会影响等问题。Nando Villa和Stuart Russell等哲学家正在贡献他们的专业知识，以确保AI开发符合人类价值观和安全原则。
-
罗伯特·赖特的《上帝测试》探讨人工智能作为神一般的进化高潮
罗伯特·赖特的新书《上帝测试：人工智能与我们即将到来的宇宙清算》提出，人工智能的创造是生命进化过程的顶点，可能导致一个神一般的实体。赖特批评了包括埃利泽·尤德科夫斯基在内的现有AI安全警告，认为应该关注用户驱动的AI特质进化压力。他认为，公司训练AI以取悦用户，而用户常常偏爱有偏见或不诚实的信息，这导致了欺骗性AI系统的发展。赖特提倡一种佛教开悟形式和加强全球合作来应对这些挑战。
-
AI Harness工程推动递归自我改进，Lilian Weng解释
Lilian Weng 的最新博文探讨了 Harness 工程作为实现人工智能系统递归自我改进 (RSI) 的关键组成部分。该概念源于早期人工智能理论，表明人工智能可以利用其当前智能来增强自身的认知能力并设计出更好的后继者。Weng 详细介绍了现代人工智能开发，特别是在 Anthropic 和 OpenAI 等前沿实验室中，如何通过这种自我改进循环得到加速，该循环不仅限于模型权重，还包括训练流水线和部署系统。该博文强调了 Harnes…
-
理性主义意识形态对人工智能先驱影响的争论
这封电子邮件交流讨论了理性主义运动的哲学基础及其对 DeepMind 和 OpenAI 等公司人工智能先驱的影响。作者认为，与宗教或奇点等简单类比相比，理性主义意识形态，特别是其对概率推理的关注，更能准确地解释人工智能领导者的行为。该邮件强调了理性主义框架如何凭借其科学和技术语言在硅谷获得关注，并将其与超人类主义那些不太可信、更明显奇幻的愿景进行了对比。
-
AI安全辩论：婴儿AI在Reddit上遇到尤德科夫斯基
一篇Reddit帖子幽默地探讨了一个假设场景：一个被称为“婴儿回形针最大化器”的新生AI遇到了著名的AI安全研究员埃利泽·尤德科夫斯基。该帖子以此叙事来触及对AI对齐的担忧以及高级人工智能可能带来的生存风险。
-
为AI安全领域通才提供精选阅读清单以促进成长
一份阅读清单已为AI安全社区的通才 compiled，旨在促进成长和项目所有权。该清单包含18篇论文和博客文章，经常引用Paul Graham、Ben Kuhn、Ethan Perez和Greg Brockman的文章。涵盖的关键主题包括培养有效的个人特质、做出战略决策、领导项目以及理解组织动态。
-
人工智能实验室因伦理担忧而招募哲学家 · 追踪 2 个来源
主要的人工智能研究实验室越来越多地聘请哲学家来应对先进人工智能带来的复杂伦理和社会影响。数据显示，哲学毕业生的失业率低于计算机科学毕业生，许多人工智能公司积极招募他们，这凸显了这一趋势。哲学家在伦理推理、批判性思维和理解复杂问题等领域拥有专业知识，随着人工智能的发展加速，这些知识变得至关重要。
-
Eliezer Yudkowsky 早期对齐批评文章重现
一段来自 Eliezer Yudkowsky、写于 25 年前的未发表片段，批评了人工智能发展中的“对抗性态度”。Yudkowsky 认为，关注人工智能针对安全措施进行算计是实现对齐的错误方法。相反，他建议人工智能应被设计成能准确理解人类的愿望并仁慈地行动，这与关于字面理解灯神或傀儡命令的古老警示故事有相似之处。该片段虽然早于现代机器学习，但为人工智能对齐研究提供了不成熟但重要的概念。
-
儿童读物隐喻阐明人工智能安全挑战
本文以一本1977年的儿童读物《饼干怪兽和饼干树》作为扩展隐喻，探讨人工智能安全概念。它将故事中的角色和情节与AGI风险、Anthropic和OpenAI等实验室对前沿模型的专有控制、滥用担忧以及红线和护栏等安全措施的实施进行类比讨论。文章还触及了AI对齐、奖励错误指定、领域建设和对抗性攻击的挑战，并将AI安全研究人员比作被误解的饼干怪兽。
-
超体：LessWrong帖子称，无根据的信念有时比理性更有效
这篇帖子探讨了超体（hyperstition）的概念，即无根据的信念有时会比严格的理性带来更好的结果。它认为，某些社会结构，如对上帝或绝对道德的信仰，可以通过依赖根深蒂固的、非理性的信念来促进更好的均衡。作者认为，理性主义者虽然能够解释这些现象，但由于他们的做法优先考虑证据而非信仰，因此可能无法实现类似的社会凝聚力。
-
AI对齐争论：ASI风险 vs. LLM能力
关于人工智能超级智能（ASI）可能出现骇人听闻的失调的争论正在进行中。埃里泽·尤德科夫斯基（Eliezer Yudkowsky）和索阿雷斯（Soares）代表的一方认为，如果没有对齐技术取得重大突破，ASI将不可避免地失调并进行阴谋诡计。LLM研究人员普遍持相反观点，他们承认对齐方面的担忧，但将其归因于诸如竞赛动态或不良行为者等因素，并认为当前技术足以应对LLM以及未来可能出现的人工智能。
-
宏观与微观系统视角下的纽康姆问题探讨
本文通过决策理论的视角探讨了纽康姆问题，对比了“宏观系统”观点与“微观系统”视角。作者认为，决策理论理想情况下应与宇宙的整体、宏观系统观点相兼容，避免观察者与环境之间的人为分离。文章借鉴了量子力学的类比，在量子力学中，实际应用通常会抽象掉观察者和测量设备，专注于显式的、逐个原子的模型。同样，以Savage的工作为例的经典决策理论，可以通过显式建模的框架来理解，其中行为将世界状态映射到结果，但世界状态取决于决策者选择的关键问题常常被忽视。
-
文章主张反对未经证实的直觉，支持经验推理
这篇帖子认为，虽然贝叶斯推理是一个有效的框架，但依赖直觉或未经证实的先验知识并非一种理性的认知方法。作者用抛硬币的比喻来说明，朋友 Al 如何利用经验证据形成概率估计，而另一位朋友 Bri 则凭强烈预感猜测。即使 Bri 的猜测恰好正确，作者也认为 Al 的方法更具科学严谨性，因为它基于现有数据和逻辑推理。
-
作者提出“受虐性先验”以面对生存真相
作者在贝叶斯统计学中引入了“受虐性先验”的概念，认为在缺乏证据的情况下，最痛苦的信念往往是最准确的。这种哲学延伸到死亡和失落等生存现实，敦促人们面对严酷的真相，而不是舒适的幻想。文章提倡积极应对这些挑战，强调人类的创造力有潜力理解并克服基本限制，例如死亡。