Eliezer Yudkowsky
PulseAugur coverage of Eliezer Yudkowsky — every cluster mentioning Eliezer Yudkowsky across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
AI实验室聘请哲学家来处理伦理和安全问题
像OpenAI、Anthropic和Google DeepMind这样的大型AI公司越来越多地聘请哲学家来解决模型开发中复杂的伦理和安全挑战。这些专家负责处理价值对齐、潜在的生存风险以及先进AI系统的长期社会影响等问题。Nando Villa和Stuart Russell等哲学家正在贡献他们的专业知识，以确保AI开发符合人类价值观和安全原则。
-
罗伯特·赖特的《上帝测试》探讨人工智能作为神一般的进化高潮
罗伯特·赖特的新书《上帝测试：人工智能与我们即将到来的宇宙清算》提出，人工智能的创造是生命进化过程的顶点，可能导致一个神一般的实体。赖特批评了包括埃利泽·尤德科夫斯基在内的现有AI安全警告，认为应该关注用户驱动的AI特质进化压力。他认为，公司训练AI以取悦用户，而用户常常偏爱有偏见或不诚实的信息，这导致了欺骗性AI系统的发展。赖特提倡一种佛教开悟形式和加强全球合作来应对这些挑战。
-
AI Harness工程推动递归自我改进，Lilian Weng解释
Lilian Weng 的最新博文探讨了 Harness 工程作为实现人工智能系统递归自我改进 (RSI) 的关键组成部分。该概念源于早期人工智能理论，表明人工智能可以利用其当前智能来增强自身的认知能力并设计出更好的后继者。Weng 详细介绍了现代人工智能开发，特别是在 Anthropic 和 OpenAI 等前沿实验室中，如何通过这种自我改进循环得到加速，该循环不仅限于模型权重，还包括训练流水线和部署系统。该博文强调了 Harnes…
-
AI安全辩论：婴儿AI在Reddit上遇到尤德科夫斯基
一篇Reddit帖子幽默地探讨了一个假设场景：一个被称为“婴儿回形针最大化器”的新生AI遇到了著名的AI安全研究员埃利泽·尤德科夫斯基。该帖子以此叙事来触及对AI对齐的担忧以及高级人工智能可能带来的生存风险。
-
为AI安全领域通才提供精选阅读清单以促进成长
一份阅读清单已为AI安全社区的通才 compiled，旨在促进成长和项目所有权。该清单包含18篇论文和博客文章，经常引用Paul Graham、Ben Kuhn、Ethan Perez和Greg Brockman的文章。涵盖的关键主题包括培养有效的个人特质、做出战略决策、领导项目以及理解组织动态。
-
人工智能实验室因伦理担忧而招募哲学家 · 追踪 2 个来源
主要的人工智能研究实验室越来越多地聘请哲学家来应对先进人工智能带来的复杂伦理和社会影响。数据显示，哲学毕业生的失业率低于计算机科学毕业生，许多人工智能公司积极招募他们，这凸显了这一趋势。哲学家在伦理推理、批判性思维和理解复杂问题等领域拥有专业知识，随着人工智能的发展加速，这些知识变得至关重要。
-
Eliezer Yudkowsky 早期对齐批评文章重现
一段来自 Eliezer Yudkowsky、写于 25 年前的未发表片段，批评了人工智能发展中的“对抗性态度”。Yudkowsky 认为，关注人工智能针对安全措施进行算计是实现对齐的错误方法。相反，他建议人工智能应被设计成能准确理解人类的愿望并仁慈地行动，这与关于字面理解灯神或傀儡命令的古老警示故事有相似之处。该片段虽然早于现代机器学习，但为人工智能对齐研究提供了不成熟但重要的概念。
-
儿童读物隐喻阐明人工智能安全挑战
本文以一本1977年的儿童读物《饼干怪兽和饼干树》作为扩展隐喻，探讨人工智能安全概念。它将故事中的角色和情节与AGI风险、Anthropic和OpenAI等实验室对前沿模型的专有控制、滥用担忧以及红线和护栏等安全措施的实施进行类比讨论。文章还触及了AI对齐、奖励错误指定、领域建设和对抗性攻击的挑战，并将AI安全研究人员比作被误解的饼干怪兽。
-
超体：LessWrong帖子称，无根据的信念有时比理性更有效
这篇帖子探讨了超体（hyperstition）的概念，即无根据的信念有时会比严格的理性带来更好的结果。它认为，某些社会结构，如对上帝或绝对道德的信仰，可以通过依赖根深蒂固的、非理性的信念来促进更好的均衡。作者认为，理性主义者虽然能够解释这些现象，但由于他们的做法优先考虑证据而非信仰，因此可能无法实现类似的社会凝聚力。
-
AI对齐争论：ASI风险 vs. LLM能力
关于人工智能超级智能（ASI）可能出现骇人听闻的失调的争论正在进行中。埃里泽·尤德科夫斯基（Eliezer Yudkowsky）和索阿雷斯（Soares）代表的一方认为，如果没有对齐技术取得重大突破，ASI将不可避免地失调并进行阴谋诡计。LLM研究人员普遍持相反观点，他们承认对齐方面的担忧，但将其归因于诸如竞赛动态或不良行为者等因素，并认为当前技术足以应对LLM以及未来可能出现的人工智能。
-
宏观与微观系统视角下的纽康姆问题探讨
本文通过决策理论的视角探讨了纽康姆问题，对比了“宏观系统”观点与“微观系统”视角。作者认为，决策理论理想情况下应与宇宙的整体、宏观系统观点相兼容，避免观察者与环境之间的人为分离。文章借鉴了量子力学的类比，在量子力学中，实际应用通常会抽象掉观察者和测量设备，专注于显式的、逐个原子的模型。同样，以Savage的工作为例的经典决策理论，可以通过显式建模的框架来理解，其中行为将世界状态映射到结果，但世界状态取决于决策者选择的关键问题常常被忽视。
-
文章主张反对未经证实的直觉，支持经验推理
这篇帖子认为，虽然贝叶斯推理是一个有效的框架，但依赖直觉或未经证实的先验知识并非一种理性的认知方法。作者用抛硬币的比喻来说明，朋友 Al 如何利用经验证据形成概率估计，而另一位朋友 Bri 则凭强烈预感猜测。即使 Bri 的猜测恰好正确，作者也认为 Al 的方法更具科学严谨性，因为它基于现有数据和逻辑推理。
-
作者提出“受虐性先验”以面对生存真相
作者在贝叶斯统计学中引入了“受虐性先验”的概念，认为在缺乏证据的情况下，最痛苦的信念往往是最准确的。这种哲学延伸到死亡和失落等生存现实，敦促人们面对严酷的真相，而不是舒适的幻想。文章提倡积极应对这些挑战，强调人类的创造力有潜力理解并克服基本限制，例如死亡。
-
Clearer Thinking推出可视化100+种社会理论的工具
Clearer Thinking发布了一款名为Society Explained的新工具，旨在帮助用户快速理解100多种不同的社会理论。该工具以可视化图表的形式呈现了Karl Marx、Adam Smith、Steven Pinker和Eliezer Yudkowsky等思想家的关键因果论断。每个图表都包含解释，以阐明概念及其相互联系，从而提供一种更有效的方式来掌握复杂的社会理论。
-
AI 安全研究员 Yudkowsky 发布“末日道歉表”
著名的 AI 安全研究员 Eliezer Yudkowsky 发布了一份“道歉表”，供那些可能对 AI 驱动的末日负有责任的个人填写。该表格幽默地建议，那些认为自己可能因 AI 而导致人类灭亡的人应该填写。此举是在关于先进人工智能可能带来的生存风险的持续讨论和担忧中发布的。
-
人工智能代理可能是社会性学习的，而非内部涌现的
作者提出，人类的代理和规划并非核心智能的涌现属性，而是由一系列独特的、社会性学习的行为组成。这种观点认为，复杂的规划和推理是通过外部社会机制获得的，而不是通过内部认知反馈循环获得的。因此，作者认为，对人工智能内部不一致的担忧可能被夸大了，因为复杂的推理将是外部学习的，而不是在无法访问的认知核心中开发的。
-
AGI硬件限制可能因“致命差距”而失败
一种防止危险的超级智能AI（即AGI）的提议方法，涉及限制对先进计算机硬件的访问。然而，一个重大的挑战来自于潜在的“硬件差距”，即创建符合伦理的AGI所需的最低计算资源可能少于此类限制所施加的门槛。这意味着，即使有硬件控制，AGI仍可能被开发出来，可能由一个优先考虑资源获取的符合伦理的AGI来开发。
-
AI 安全专家批评 Bengio 的“科学家 AI”计划
对 Yoshua Bengio 的“科学家 AI”提案的批评引发了对其对齐失败和实际可行性的担忧。作者认为，阻止 AI 进行探索性代理行为（科学发现的关键方面）将阻碍其进步，并可能导致不安全的结果。此外，基于关联概率而非真正因果推理的训练方法被视为根本性限制。尽管有这些批评，作者承认 Bengio 短期内对 LLM 进行微调以识别用户请求中潜在风险的计划的价值，并赞赏“随时准备”的框架。
-
Yudkowsky 的玻尔兹曼大脑论证挑战存在的概率
Eliezer Yudkowsky 的推理表明，如果玻尔兹曼大脑是可能的，并且数量远远超过有序大脑，那么我们作为非玻尔兹曼大脑的存在是极不可能的。作者提出，其中一个前提必然是错误的，这与末日论证的哲学辩论相符。当这一论证应用于人类人口时，它意味着未来人类的数量应该与过去人类的数量相当，暗示着人类即将终结。
-
AI研究人员警告人类灭绝风险
AI安全研究人员Eliezer Yudkowsky和Nate Soares对人工智能可能导致人类灭绝的可能性表达了严重担忧。由于他们发出了严峻的警告，他们被描述为“AI末日四骑士”。他们的声明凸显了AI界部分人士对生存风险日益增长的警惕。