global catastrophic risks
PulseAugur coverage of global catastrophic risks — every cluster mentioning global catastrophic risks across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
AI 灭绝风险焦点呼吁，以对领导者产生战略性影响
作者认为，将重点放在 AI 带来的灭绝风险上，是向 Sam Altman 等有权势人物传达信息的战略上最有效的方式。虽然生物恐怖主义或渐进式权力剥夺等其他风险也很严重，但它们对掌权者来说没有同等的份量。核心论点是，像 Altman 这样推动 AI 发展的人，更有可能合作缓解生存威胁，因为他们自身的生存也岌岌可危。这种方法旨在利用 AI 领导者的自身利益来解决最灾难性的潜在后果。
-
人工智能研究人员警告超级智能的生存威胁 · 已追踪 2 个来源
包括 Geoffrey Hinton 和 Yoshua Bengio 在内的许多人工智能研究人员对通用人工智能（AGI）可能构成生存威胁表示担忧。这些专家，其中许多人曾为 OpenAI、Google DeepMind 和 Anthropic 等领先的人工智能实验室做出贡献，他们强调了与超级智能和对齐问题相关的风险。他们担心的核心在于，如果先进的人工智能系统没有得到妥善控制并与人类价值观保持一致，就可能导致全球灾难性风险。
-
AI领导者讨论安全问题，Meta整合代理，数据中心热潮面临强烈反对 · 追踪7个来源
包括OpenAI、Anthropic和Google在内的主要人工智能公司据报道正在就AI安全问题进行持续讨论。与此同时，Meta正在整合AI代理以简化WhatsApp Business的运营，而Exein正在开拓物理AI应用。AI数据中心的快速扩张也正面临受先前工业发展影响的社区的审查和抵制，像Al Gore这样的人物对这种强烈反对提出了审慎的看法。
-
人工智能研究人员警告自改进系统存在灭绝风险 · 已追踪 10 个来源
越来越多的 AI 研究人员对先进 AI 系统可能导致人类灭绝表示严重担忧，一些人估计在未来十年内发生这种事件的可能性相当大。这些担忧源于递归自改进的概念，即 AI 可以快速增强自身能力，可能导致人类失去控制。虽然一些人认为关注灭绝过于复杂，但另一些人认为，即使是程度较轻的 AI 接管，也会严重影响人类的未来，因此强调在 AI 开发中谨慎进行对齐和控制节奏的必要性。
-
文章探讨人工智能时代的自主、自由与控制
本文借鉴丹尼尔·丹尼特的思想，探讨了自主、自由和控制的概念。自由被定义为代理人的行动空间，可以通过各种选择来限制或扩展。控制是对这些自由的调节以实现目标，需要对被控制的系统进行建模。自主，或称自我控制，与异化（遥控）不同，在异化中，代理人的决定受到外部力量的影响，即使他们保留了其他选择的自由。
-
Toby Ord 论文模拟AI智能爆炸动力学
Toby Ord 的一篇论文探讨了智能爆炸的数学动力学，即人工智能通过递归自我改进迅速加速其自身发展的场景。Ord 认为，实现人工智能能力“奇异增长”并趋向垂直渐近线比通常建模的要复杂，特别是如果反馈循环或“生成时间”没有迅速趋近于零的话。该论文强调，虽然指数增长是可能的，但快于指数但非奇异的增长率在关于AI进展的讨论中也同样重要且常常被忽视。
-
前OpenAI研究员警告AI驱动的自我毁灭
前OpenAI研究员、AI Futures Project联合创始人Daniel Kokotajlo概述了AI发展可能带来的生存风险。他的工作，包括论文《AI 2027》，表明如果当前发展轨迹继续，有70%的可能性会发生自我毁灭。Kokotajlo还联合撰写了《AI 2040 Plan A》，提出了通过更保守的发展选择实现繁荣的替代未来。
-
人工智能生存风险：专家称警示信号可能无法促使行动
LessWrong 最近的一项分析探讨了人工智能生存风险的“警示信号”概念，认为那些未达到生存风险但造成了损害的事件可能会促使人们对超级智能采取有效行动。作者提出了一个框架来评估这些警示信号是否可能发生、是否及时、是否触目惊心且足够突然，从而引发社会反应。最终，他们得出结论，依赖这些警示信号是一种不确定的策略，迫切需要立即采取人工智能治理行动，因为有效干预的窗口可能正在关闭。
-
人工智能对齐的挑战在于应用所学伦理，而非失控的代理行为
一篇新发表在arXiv上的论文探讨了生物体价值观的演化起源，以解决对人工智能的担忧。作者认为，与受自我保存和内在动机驱动的生命系统不同，大型语言模型（LLMs）是异源的（allopoietic）和异目的的（allotelic），这意味着它们的目标是外部派生的，并且缺乏自我保存或支配的内在驱动力。虽然LLMs不会通过失控的代理行为构成生存风险，但它们会从训练数据中隐式吸收人类价值观，从而在确保这些所学的伦理价值观得到智能应用方面带来了对齐挑战。
-
AI加速器被质疑忽视生存风险
r/singularity上的Reddit用户正在质疑为何AI加速器似乎忽视了与快速AI发展相关的生存风险。用户承认人工智能超级智能（ASI）的潜在好处，如富足和疾病治愈，但强调无论积极还是消极结果都无法保证。他们建议将更多时间投入开发有助于确保ASI的辉煌，并试图理解为何许多加速器不青睐这种谨慎的方法。