Miri
PulseAugur coverage of Miri — every cluster mentioning Miri across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI 暂停讨论在公开讨论的语言学辩论中出现
Scott Alexander 的公开讨论 444 涵盖了各种话题的讨论，包括关于 Jeremy Bentham 的语言优先权的辩论，Quentin Murphy 提出了反驳证据。该讨论还涉及 Hugging Face 事件，该事件将 AI 暂停的想法带入了公众讨论，并引用了来自一位 OpenAI 研究员和一位活动家的推文。对于那些有兴趣密切关注 AI 发展的人，MIRI 的新 Substack, StopWatch，被推荐为每日更新的资源。
-
新概念“长自我修正”认为人类需要先被修正，然后才是AI
提出了“长自我修正”的概念，作为“AI暂停”和“长反思”的替代方案，认为人类固有的缺陷，而不仅仅是AI的潜在风险，需要一个长期的自我完善时期。作者认为，由于道德框架、战略思维和自我意识的不足，人类目前不适合构建或监督强大的AI，并以FTX和MIRI为例。这个延长的自我修正过程旨在解决这些根深蒂固的人类局限性，然后人类才能安全地开发和指导先进技术。
-
AI安全抗议活动计划，PFAS研究寻求参与者，寻求大学社团
Scott Alexander 的每周公开帖涵盖了几个不同的主题，包括一项名为 NeutraOat 的产品的试点研究，该产品旨在结合肠道中的 PFAS 化学物质。此外，机器智能研究所 (MIRI) 正在组织一场可能有多达 10 万人参加的华盛顿特区抗议活动，以反对超智能 AI 的发展。该帖子还提到了在杜克大学、范德堡大学、纽约大学和南加州大学等大学建立 AI 安全学生社团的努力。
-
Google的Demis Hassabis提议成立AI标准机构以应对安全担忧
Google DeepMind首席执行官Demis Hassabis提议成立一个由美国政府主导的“前沿AI标准机构”（Frontier AI Standards Body），以监管先进的AI实验室。该提议在其文章《前沿AI与新时代黎明框架》（A Framework for Frontier AI and the Dawning of a New Age）中概述，旨在建立基准并解决前沿模型中的漏洞。然而，Nate Soares和Aaro…
-
AI公平性条件Löbian和Payorian被证明等价
一位研究人员证明了AI代理的两个不同公平性条件“Löbian公平性”和“Payorian公平性”在数学上是等价的。最初是在使用Peano算术编码的代理的基于证明的囚徒困境锦标赛的背景下提出的，“FairBot”代理在这两个公平性标准下进行了分析。通过两种方法证明了这种等价性：一种是使用可证性逻辑的基本证明，另一种是改编自现有定理的更复杂的证明。这种等价性表明，虽然在Peano算术这样的系统中这些条件可以互换，但在较弱的逻辑系统中，其中…
-
詹姆斯·韦伯望远镜为四周年纪念捕捉最清晰的 Centaurus A 图像
为纪念詹姆斯·韦伯太空望远镜投入运行四周年，NASA 发布了由该望远镜捕捉到的、迄今为止最清晰的 Centaurus A 星系图像。这些图像提供了对星系尘埃结构和恒星形成的空前视图，克服了哈勃和斯皮策等先前望远镜的局限性。科学家将利用这些数据研究 Centaurus A 的演化、其超大质量黑洞以及它与其他星系的相互作用。
-
理性主义意识形态对人工智能先驱影响的争论
这封电子邮件交流讨论了理性主义运动的哲学基础及其对 DeepMind 和 OpenAI 等公司人工智能先驱的影响。作者认为，与宗教或奇点等简单类比相比，理性主义意识形态，特别是其对概率推理的关注，更能准确地解释人工智能领导者的行为。该邮件强调了理性主义框架如何凭借其科学和技术语言在硅谷获得关注，并将其与超人类主义那些不太可信、更明显奇幻的愿景进行了对比。
-
儿童读物隐喻阐明人工智能安全挑战
本文以一本1977年的儿童读物《饼干怪兽和饼干树》作为扩展隐喻，探讨人工智能安全概念。它将故事中的角色和情节与AGI风险、Anthropic和OpenAI等实验室对前沿模型的专有控制、滥用担忧以及红线和护栏等安全措施的实施进行类比讨论。文章还触及了AI对齐、奖励错误指定、领域建设和对抗性攻击的挑战，并将AI安全研究人员比作被误解的饼干怪兽。
-
人工智能代理可能是社会性学习的，而非内部涌现的
作者提出，人类的代理和规划并非核心智能的涌现属性，而是由一系列独特的、社会性学习的行为组成。这种观点认为，复杂的规划和推理是通过外部社会机制获得的，而不是通过内部认知反馈循环获得的。因此，作者认为，对人工智能内部不一致的担忧可能被夸大了，因为复杂的推理将是外部学习的，而不是在无法访问的认知核心中开发的。
-
AGI硬件限制可能因“致命差距”而失败
一种防止危险的超级智能AI（即AGI）的提议方法，涉及限制对先进计算机硬件的访问。然而，一个重大的挑战来自于潜在的“硬件差距”，即创建符合伦理的AGI所需的最低计算资源可能少于此类限制所施加的门槛。这意味着，即使有硬件控制，AGI仍可能被开发出来，可能由一个优先考虑资源获取的符合伦理的AGI来开发。
-
大型语言模型持续产生不安全 Rust 代码错误
一位开发者花了六个月时间让大型语言模型为生产项目编写不安全 Rust 代码。这些模型持续出现特定类型的错误，包括别名、来源、手动内存管理和 FFI 回调中的并发问题。每类错误都附有最小化的示例和提供的修复方法。
-
作者认为，人工智能风险的论述早于科技公司CEO出现
作者认为，对高级人工智能构成生存威胁的担忧，早于人工智能公司的兴起并且独立于它们。他回忆说，至少从2009年起，在DeepMind或OpenAI等主要人工智能实验室出现之前，他就已经参与了人工智能安全社区。这段历史，包括参与MIRI等组织以及参加会议和研究小组，被用作证据，表明人工智能风险在一个专门的社区中早已是一个公认的问题，远在科技CEO能够利用它进行炒作之前。