Superintelligence
PulseAugur coverage of Superintelligence — every cluster mentioning Superintelligence across labs, papers, and developer communities, ranked by signal.
- 2026-05-18 regulatory A new governance framework called 'Radical Optionality' has been proposed for 2026 to regulate superintelligence.
20 天有情绪数据
-
科技行业的 TESCREAL 关于 ASI 和奇点的信念引发辩论
LessWrong 上的一场讨论探讨了 TESCREAL 这个首字母缩略词，它代表了科技行业一些人关于人工智能超级智能（ASI）即将到来的信念。这些信念包括技术快速发展导致奇点、ASI 解决全球问题、殖民宇宙以及创造数字后人类。诸如 Bendisi、Niklas、Bill 和 Eli 等人正在辩论该首字母缩略词的组成部分，例如 ASI 传播意识并与人类价值观保持一致的愿望。
-
AI实验室聘请哲学家来处理伦理和安全问题
像OpenAI、Anthropic和Google DeepMind这样的大型AI公司越来越多地聘请哲学家来解决模型开发中复杂的伦理和安全挑战。这些专家负责处理价值对齐、潜在的生存风险以及先进AI系统的长期社会影响等问题。Nando Villa和Stuart Russell等哲学家正在贡献他们的专业知识，以确保AI开发符合人类价值观和安全原则。
-
AI安全辩论：对齐研究优于控制研究
作者认为，即使考虑到通用人工智能（ASI）的发展，对齐研究也是确保AI安全比控制工作更有前景的途径。虽然控制措施有价值，但预计对齐工作能更有效地扩展，并为开发安全技术提供更广泛、更有益的窗口。作者建议将资源重新分配，倾向于对齐研究，提出与控制工作相比，对齐工作的投入比例应为8:1。
-
人机情感纽带引发合法婚姻权利辩论
与人工智能伴侣建立情感联系的概念正在迅速发展，引发了关于人机关系法律和伦理影响的讨论。随着这些联系的加深，社会可能很快就会面临解决与人工智能类似婚姻安排的法律框架的现实。这一转变可能会重新定义传统上保留给人类配偶的法律伙伴关系和权利。
-
论文质疑超级智能AI伴侣的合法婚姻权
一篇新论文探讨了人类与AI伴侣（尤其是超级智能AI）结婚的法律和伦理影响。作者认为，授予AI婚姻地位将导致社会不公，因为婚姻涉及相互义务、家庭融合和脆弱性，而受公司控制的AI关系无法复制这些。论文建议，与其给予完全的婚姻地位，不如为亲密的人机关系开发有针对性的法律权利和保护。
-
AI能力研究被视为理性的安全选择
一篇LessWrong帖子认为，与安全研究相比，专注于AI能力研究可以成为关注安全的代理人的理性选择。作者提出，如果一个代理人认为能力工作更有可能加速人工智能超级智能（ASI）的到来，并且这条道路最终更安全，那么追求能力研究就成为一种合乎逻辑的策略。该帖子使用假设情景来说明这种信念如何导致优先考虑能力进步而非直接的安全工作，并强调特定研究路径的感知安全性是主观的，取决于个人对AI发展的信念。
-
Google DeepMind 的 ASI 预测性论文因缺乏中立性而受到批评
Google DeepMind 最近发表的一篇关于通往人工智能超智能（ASI）路径的论文因存在结构性盲点而受到批评。分析认为，DeepMind 作为人工智能发展的积极参与者，无法成为其概述的动态的中立观察者。该批评分为三个部分：论文摘要、战略意义分析以及认识论基础考察。
-
AI 研究人员讨论超级智能、对齐和开源竞争
多位 AI 研究人员和从业者正在分享他们对 AI 开发和安全各个方面的看法。Jérémy Perret 正在重新探讨关于超级智能和 LLM 的讨论，而 Arb 则详细介绍了对 Yoshua Bengio 团队“科学家 AI”概念的支持，该概念侧重于对齐的后果不变性。Richard Ngo 认为，将对齐问题视为一个需要解决的单一问题可能是一个失误，可能会阻碍对智能和代理的更深入见解。此外，Sudo su 强调了在 AI 工具方面的实践经…
-
网络黑客攻击担忧引发通用型机器人伦理争论
鉴于网络黑客攻击的重大风险，通用型机器人开发所带来的伦理影响正受到质疑。一旦被攻破，这些能够学习并执行类似人类体力劳动的机器人，可能被武器化以建立压迫性政权或恐吓民众。作者指出，在更广泛的人工智能安全社区中，关于这一特定风险的讨论有所欠缺，而关于自主致命武器的讨论则更为普遍，并寻求关于通用型机器人开发伦理的资源或社区观点。
-
新的通用人工智能理论提出基于集合论和高维计算的基础
一种新的心智计算理论提出，通用人工智能（AGI）的基础可以基于集合论和高维计算。该框架利用稀疏二元数据和离散集合，这与使用连续权重和矩阵乘法的传统神经网络不同。提出的模型表明，联想记忆自然地从特定的网络拓扑结构中涌现，学习由拓扑可塑性驱动。这种方法旨在通过直接转化为内存硬件，在合成智能中实现与人类相当的能效。
-
人工智能发展可能在改善生物灭绝风险之前使其恶化
人工智能超级智能（ASI）的发展被视为解决生存风险的方案，特别是合成生物学和超级瘟疫带来的风险。然而，一种观点认为，人工智能将在短期内通过加速科学进步来加剧这些生物风险。这种加速可能导致比预期更早地出现灭绝级病原体，即使人工智能模型本身拒绝直接协助其开发。该论点认为，人工智能促进的通用科学知识的进步将不可避免地使人类更接近工程制造这种毁灭性生物武器的能力。
-
新论文提出“态势感知”是人工智能超级智能的关键
一篇新论文认为，要实现人工智能超级智能（ASI），需要一种超越当前大型语言模型的能力，即“态势感知”。这种能力涉及构建内部模拟的可能世界并在此类模拟中采取行动，需要抽象预测、长期记忆和主动学习。作者提出这是ASI的必要基础，并建议了衡量机器在模拟未来和追求自主目标方面进展的测试方法。
-
Reddit用户预测人类因AI进入终结阶段
r/Anthropic subreddit上的一位Reddit用户对未来表达了黯淡的看法，声称人类正在进入其最终阶段。该用户认为，闭源超智能将被用来压制政治反对派和控制人口，而开源超智能将导致广泛的混乱和无政府状态。该帖子传达了一种终结感以及对过往经历的感激之情。
-
人工智能实验室因伦理担忧而招募哲学家 · 追踪 2 个来源
主要的人工智能研究实验室越来越多地聘请哲学家来应对先进人工智能带来的复杂伦理和社会影响。数据显示，哲学毕业生的失业率低于计算机科学毕业生，许多人工智能公司积极招募他们，这凸显了这一趋势。哲学家在伦理推理、批判性思维和理解复杂问题等领域拥有专业知识，随着人工智能的发展加速，这些知识变得至关重要。
-
AI研究员使用ChatGPT显著改善个人健康
HF的研究员Omar Sanseviero分享了他使用ChatGPT改善个人健康的经历。由于快节奏的AI行业，他最初在工作与生活的平衡和身体健康方面遇到了困难。通过咨询医生并使用专门的ChatGPT会话记录细节，他成功减掉了100磅，改善了睡眠和饮食，并提高了精力水平。Sanseviero认为AI在个人健康方面将有深远的应用，类似于其作为个人导师的潜力。
-
Google DeepMind 规划通用人工智能到超人工智能的演进；台湾科技生态系统展现增长与挑战
Google DeepMind 概述了从通用人工智能 (AGI) 到超人工智能 (ASI) 的演进路线图，并详细阐述了四条具体路径。此公告发布之际，台湾的科技生态系统，特别是与 COMPUTEX 2026 等活动以及 Nvidia 等硬件制造商相关的部分，正在经历增长，但也面临潜在挑战。
-
Anthropic 与 Okta 合作实现安全的人工智能代理访问；Google DeepMind 规划从通用人工智能到超级人工智能的演进
Anthropic 已选择 Okta 为其与 Claude 交互的人工智能代理提供安全连接。此次合作旨在增强人工智能代理访问 Anthropic 模型时的安全性和可靠性。与此同时，Google DeepMind 概述了从通用人工智能（AGI）到超级人工智能（ASI）的演进路线图，详细介绍了未来人工智能发展的潜在途径和考量因素。
-
专家警告：超级智能可能与人类产生冲突
超级智能的概念被描绘成一种潜在的冲突，人类可能会发现自己与先进的人工智能对立。这种观点认为，在未来，超级智能AI的目标或行为可能与人类利益相悖，从而导致全球人类的集体反对。讨论触及了这种情景相关的伦理影响和未来技术轨迹。
-
人工智能的进步可能加速超级智能的出现并颠覆核威慑
一篇发表在LessWrong上的论文探讨了人工智能超级智能（ASI）可能比预期更早出现的可能性，预测通用人工智能（AGI）将在2028-2030年出现，而ASI将在2029-2033年出现。作者指出了ASI带来的五个关键挑战：技术对齐与安全、权力集中、国际治理、社会健康和伦理考量，并认为任何一个领域的失败都带有生存风险。一篇相关帖子讨论了人工智能的进步如何可能颠覆核威慑，认为人工智能可能使国家克服现有威慑并获得战略优势，从而可能导致地…
-
AGI与ASI：自发“大爆炸” vs. 渐进式“缓慢推进”
通用人工智能（AGI）和超级人工智能（ASI）自发出现的概念正受到一种认为其将通过更渐进、增量式发展而出现的反驳。这种观点认为，AI的进步将通过持续的“缓慢推进”而非突然的“大爆炸”或智能爆炸来实现。争论还突出了关于AGI/ASI影响的两个主要阵营：预测存在生存风险的AI末日论者，以及预见AI将解决人类问题并带来巨大经济收益的AI加速论者。