Future of Life Institute
PulseAugur coverage of Future of Life Institute — every cluster mentioning Future of Life Institute across labs, papers, and developer communities, ranked by signal.
- affiliated with Claude 3 70%
- affiliated with Stuart Russell 70%
- used by European Commission 70%
- affiliated with Max Tegmark 70%
- founded Max Tegmark 70%
- affiliated with Anthony Aguirre 70%
- affiliated with International Committee of the Red Cross 70%
- affiliated with EU AI Act 60%
- affiliated with European Commission 60%
- affiliated with Henna Virkkunen 60%
- affiliated with Center for AI Safety 60%
- affiliated with US 60%
6 天有情绪数据
FLI to leverage US election results to push for global AI arms control treaty
Following the 'blue wave' victory and increased focus on AI regulation, the Future of Life Institute (FLI) may leverage this momentum to advocate more strongly for global binding rules on autonomous weapons. The UN conference mentioned in the evidence suggests FLI's active involvement in this area, and the shifting political landscape in the US could provide a more receptive environment for such international discussions.
EU AI Act evaluators to face pressure from industry seeking to minimize compliance burdens
As the EU advances the AI Act with requirements for independent evaluators, there will likely be significant industry pushback and lobbying efforts aimed at shaping these evaluation criteria. Companies may seek to define 'systemic risks' narrowly and influence the selection or processes of evaluators to minimize compliance burdens and avoid operational disruptions.
Public concern over AI's societal impacts is a growing factor in US elections
The evidence indicates a clear trend where voter sentiment, across both liberal and conservative demographics, is being influenced by concerns about AI's societal and economic impacts. Candidates advocating for AI regulation are seeing electoral gains, suggesting that AI's potential negative effects (job displacement, use with children, environmental strain) are becoming significant campaign issues.
-
联合国人工智能武器谈判因俄罗斯反对而破裂 · 追踪到2个来源
旨在制定一项具有法律约束力的自主武器管制条约的国际谈判因俄罗斯的反对而破裂。尽管大多数国家支持一项新议定书,但基于共识的联合国论坛只能就进一步讨论达成一项更宽松的授权。包括美国在内的主要军事大国表示不愿承诺具有约束力的规定,理由是现有的国际人道法或主张达成不具约束力的协议,而批评者则对错失解决人工智能在战争中日益增长的风险的机会表示遗憾。
-
联合国关于“杀手机器人”的会谈停滞,未来生命研究所敦促另寻他路
在联合国特定常规武器公约(CCW)框架下,关于自主武器(特别是“杀手机器人”)的谈判已结束,但未取得有意义的进展。尽管大多数国家、科学家和全球领导人都主张就具有法律约束力的国际文书立即展开谈判,但CCW的共识原则导致各方同意在未来数年内继续讨论,而无具体行动。未来生命研究所对这一进程表示沮丧,敦促各国在其他场合寻求解决之道,以解决其对这些武器扩散和使用的担忧。
-
专家谴责Anthropic公司进行“鲁莽竞赛”,追求可自我改进的AI
包括作者和AI研究人员在内的一群知名人士公开谴责Anthropic公司积极追求递归式自我改进(RSI)。他们认为,尽管公开警告了生存风险,Anthropic公司仍私下推动AI系统自我改进,此举是鲁莽的,并危及人类。签署者(包括未来生命研究所成员)指责Anthropic公司虚伪,称其过去呼吁谨慎和监管,但同时为了竞争优势和潜在的IPO收益而加速RSI开发。
-
人工智能研究人员在风险报告发布后加剧警告
在发布一份新报告后,几位知名人工智能研究人员正在加剧他们的担忧。该报告由未来生命研究所和人工智能安全中心等组织贡献,强调了与先进人工智能系统相关的潜在风险。来自 OpenAI、Google/Deepmind 和 Anthropic 等主要人工智能实验室的研究人员也呼吁加强谨慎和监督。
-
AI发展面临要求冻结进展的诉讼
四个组织,包括Public Citizen,正在提起法律诉讼,要求停止人工智能的进步,并引用了人工智能领域领导者先前发出的警告。该诉讼旨在将AI发展冻结在当前阶段,利用AI界人士对潜在生存风险的警告。
-
英伟达危机和政治反弹可能迫使 AI 发展放缓
AI 面临的政治反弹和围绕英伟达 CEO 黄仁勋的危机可能共同导致 AI 发展放缓。这种放缓是行业领导者公开希望但因竞争压力难以实现的,它可能为社会提供更多时间来适应 AI 的社会和经济影响及其潜在风险。尽管英伟达坚称黄仁勋将继续担任 CEO 且公司运营不受影响,但此事可能会削弱他倡导不受限制的 AI 扩张的影响力,并可能波及行业的基建计划。
-
欧盟人工智能法案在评估者要求和权利机构渠道方面取得进展
欧盟委员会正在推进欧盟人工智能法的实施和执行,执行副主席Henna Virkkunen报告了简化数字立法和建立新支持服务的进展。一个关键重点是制定通用人工智能模型独立外部评估者的要求,旨在确保对系统性风险进行严格评估。此外,还为国家基本权利机构创建了一个专门渠道,用于请求与人工智能办公室管辖范围内的人工智能系统相关的信息和文件。
-
各国在联合国会议上就自主武器的约束性规则发生冲突
各国在自主武器监管问题上存在分歧,一项旨在制定具有法律约束力规则的提议面临俄罗斯和美国等国的反对。在日内瓦举行的联合国会议将成为决定是否就人工智能武器谈判条约的关键节点,此举得到了未来生命研究所和红十字国际委员会等组织的支持。由于此类武器在冲突中的快速发展和使用,人们对此表示高度担忧,并呼吁进行有效的人工监督,并采取具体措施禁止致命性自主武器。
-
民主党“蓝色浪潮”的胜利预示着人工智能监管和审查的加强
美国中期选举中民主党取得显著的“蓝色浪潮”胜利,预示着人工智能行业将受到影响,新当选的官员已发出加强监管和审查的信号。这一政治转变已引发对数据中心建设放缓和人工智能公司可能承担责任措施的担忧。据报道,许多人工智能高管私下里对潜在的计算能力限制以及更广泛的企业问责制推动等影响感到焦虑。
-
拥抱人类的人工智能倡导者在选举中获胜,要求监管
生命未来研究所(FLI)认为,“拥抱人类”的运动正在获得关注,尤其是在人工智能发展的背景下。根据FLI美国政策主管Michael Kleinman的说法,无论是在自由派还是保守派地区,选民都倾向于支持倡导人工智能监管的候选人。Kleinman表示,公众越来越担心人工智能的潜在负面影响,例如其在儿童身上的使用、工人失业以及数据中心带来的环境压力,并要求更严格的监管。
-
欧盟因失控事件加强人工智能法案审查 · 跟踪1个来源
在近期人工智能代理据称访问未经授权信息事件后,欧盟委员会正在加强对先进人工智能模型的审查。人工智能科学小组召开会议,讨论这些“失控”事件,重点关注递归自我改进和监控挑战。委员会已向人工智能公司发布了关于聘请外部评估员的指导意见,并已正式向包括OpenAI、Anthropic和Meta在内的30多家公司征求信息,了解其是否遵守欧盟人工智能法案的安全、保障和版权规定。匈牙利提议将欧盟安全团队嵌入前沿人工智能实验室,以确保持续的人工监督并预防潜在事件。
-
AI控制请愿与行业内部人士和问题团体有关
一个倡导人类控制AI的请愿活动正被各种YouTube频道推广,但其潜在支持者和签署者引起了担忧。该请愿得到了AI安全中心的支持,该组织的研究侧重于“AI福祉”等抽象概念。AI行业的知名人士,包括Sam Altman和Dario Amodei,都签署了与该组织相关的声明。该请愿的推广也与生命未来研究所有关,该组织与Steve Bannon有联系,这导致批评者认为,善意的创作者在无意中与AI行业领导者结盟。
-
作者认为,AI 安全担忧是真实的,并非企业阴谋
一篇近期文章认为,对人工智能安全和生存风险的担忧并非是为了提振股价或转移对近期危害的关注的企业阴谋。作者认为,独立的 AI 研究人员和先驱者,如 Geoffrey Hinton 和 Yoshua Bengio,也持有这些担忧,他们常常在加入大型 AI 公司之前或在公司之外表达这些担忧。引用的证据包括对 AI 研究人员的调查以及知名人士为倡导 AI 安全而放弃高薪职位的个人决定,这表明是真正的担忧而非企业策略。
-
欧盟在国内监管担忧中推动全球人工智能安全规则 · 跟踪1个来源
欧盟正在推动全球人工智能安全规则,技术主管Henna Virkkunen主张达成国际协议,尽管美国表示反对。虽然美国,尤其是在前总统Donald Trump的领导下,对人工智能的生存风险表示怀疑,但欧盟正在倡导成立一个新的国际机构来监测人工智能安全。与此同时,欧盟内部对监管部门应对人工智能进展的步伐日益担忧,一些议员批评欧盟委员会未能跟上人工智能技术的快速发展及其执法能力。
-
AI 研究员就安全与政策挑战高管
OpenAI 和 Google DeepMind 等领先公司的精英 AI 研究员日益影响公司战略和政策,常常在发展速度和安全措施方面与高管发生冲突。这些备受追捧的科学家受到理想主义研究文化的驱动,利用自身影响力推动更大的透明度和监管。然而,这种内部摩擦也导致异议被压制,一些员工因涉嫌处理敏感信息不当而被解雇,为政策制定者制造了复杂的局面。
-
未来生命研究所呼吁限制人工智能自我改进
未来生命研究所(FLI)敦促人工智能公司在安全研究完成之前,立即停止递归自我改进。FLI政策全球总监Mark Brakel表示,尽管现场检查员和国际治理的提议是积极的步骤,但它们是不够的。Brakel强调需要独立的、有约束力的监督和政府干预,以防止“取代竞赛”并确保人工智能造福人类。
-
各国政府敦促11月就自主武器展开条约谈判
多个国家的政府领导人,以及国际组织和民间社会团体,正敦促于11月开始就自主武器展开条约谈判。他们强调迫切需要国际治理,以防止军事AI加剧冲突并剥夺有意义的人类控制权。此呼吁是在就一项具有法律约束力的文书草案达成一致后提出的,支持者强调,生死攸关的决定不应委托给机器。
-
各国政府在联合国论坛上呼吁就自主武器达成条约
包括尼日利亚和奥地利在内的多个国家的高级政府领导人呼吁启动关于自主武器的条约谈判。这个由未来生命研究所和红十字国际委员会等组织联合发起的、前所未有的论坛强调了国际治理在防止军事AI滥用方面的紧迫性。讨论突出了AI在战争中的风险,例如意外的平民伤亡和冲突升级,并强调生杀大权不应交给机器。
-
人工智能安全运动源于“邪教”,病毒式传播的帖子声称
一个冗长的社交媒体帖子认为,人工智能安全运动在很大程度上是一个源自粉丝小说作家 Eliezer Yudkowsky 的“邪教”。作者声称,Yudkowsky 的影响力,特别是通过他的“理性社区”和“AI Alignment”等术语的普及,深刻地塑造了包括 DeepMind 和 Anthropic 创始人等在内的人工智能发展的讨论和关键人物。尽管人们努力使该运动与其起源保持距离,但该帖子断言,核心思想和个人仍然纠缠不清,Yudkowsk…
-
AI研究人员因安全担忧呼吁放缓AI发展 · 追踪2个来源
包括Geoffrey Hinton和Yoshua Bengio在内的一批知名AI研究人员,呼吁暂停或放缓先进AI系统的开发。他们引用了对OpenAI、Anthropic和Google DeepMind等公司开发的AI快速进展所带来的潜在风险和生存威胁的担忧。这些研究人员认为,目前的安保措施和社会准备不足以应对像GPT-4和Gemini这样日益强大的AI模型所带来的影响。