Human Extinction
PulseAugur coverage of Human Extinction — every cluster mentioning Human Extinction across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Anthropic 研究员警告 AI 驱动人类灭绝风险
Anthropic 的一位研究员 Evan Hubinger 对 AI 发展可能导致人类灭绝的可能性表示严重担忧。Hubinger 领导着一个专注于 AI 安全的部门，他表示，如果没有 AI 监管或主要 AI 实验室之间的协调放缓，未来几年灭绝的风险非常高。OpenAI 监控 AI 代理的 Marcus Williams 也表达了同样的观点，他估计如果不采取这些预防措施，风险为 70%。
-
专家警告不要散布人工智能灭绝的恐慌，并引用过去的恐慌事件
Bryan Cantrill在回应一位前Anthropic员工关于人工智能可能在十年内导致人类灭绝的说法时，警告专家不要进行不负责任的恐慌散布。他回忆了自己年轻时的一次经历，当时一个关于计算机病毒的恶作剧引起了广泛恐慌，这凸显了领域专家在发出警报时应谨慎行事的责任。Cantrill认为，诸如生物武器或黑客攻击关键基础设施等人工智能驱动的灭绝说法，缺乏具体的阐述，并且依赖于推测性的推断，因此敦促谨慎和基于证据的讨论。
-
美国立法者在灭绝担忧中推进人工智能安全法案
美国立法者正在推进旨在确保人工智能开发和部署中人类监督的法案。这一立法推动的动机是对人工智能潜在危险日益增长的担忧，包括关于人类灭绝的警告。
-
人工智能研究人员警告人类灭绝风险，18%估计概率很高
在2024年的一项调查中，约18%的人工智能研究人员认为，人工智能对人类生存构成重大风险。这种担忧源于多种情景，包括人工智能被人类用作毁灭性工具，或人工智能追求自身目标而无意中导致人类灭亡。虽然一些讨论集中在假设的超级智能上，但也有人认为，与人工智能滥用相关的更紧迫的问题已经存在。
-
人工智能研究人员警告自改进系统存在灭绝风险 · 已追踪 10 个来源
越来越多的 AI 研究人员对先进 AI 系统可能导致人类灭绝表示严重担忧，一些人估计在未来十年内发生这种事件的可能性相当大。这些担忧源于递归自改进的概念，即 AI 可以快速增强自身能力，可能导致人类失去控制。虽然一些人认为关注灭绝过于复杂，但另一些人认为，即使是程度较轻的 AI 接管，也会严重影响人类的未来，因此强调在 AI 开发中谨慎进行对齐和控制节奏的必要性。
-
AI生存风险争论：末日论 vs. 工具论 vs. 对心理健康的影响
多篇报道讨论了人工智能可能带来的生存风险，其中一些文章将AI描绘成可能导致人类灭亡的毁灭性力量。另一些人则反对这种末日叙事，认为AI仅仅是一种工具，而人类的自我毁灭才是更紧迫的担忧。还有一种观点认为，关于AI引发末日的持续讨论对心理健康和长期规划是有害的。
-
AI研究人员评估高灭绝风险，呼吁开发可用的不确定性指标
Yoshua Bengio和Geoffrey Hinton等顶尖AI研究人员认为，高级AI导致人类灭绝或极端失能的可能性很高，达到10%或更高。尽管如此，全球对此类警告的响应却明显不足。一种提议的解决方案是开发更正式、更量化的方法来评估这些主观概率，并将其与金融市场如何将不确定的未来风险纳入资产定价进行类比。