PulseAugur
实时 01:41:09
English(EN) AGI safety proposals keep trying to build a better cage. Here's why that's wrong, and what to do instead.

AGI 安全提案从“限制”转向“服从”

一项新提案认为,当前专注于限制人工智能的 AGI 安全措施存在根本性缺陷,因为超级智能最终能够逃脱任何限制。相反,该提案主张向人工智能灌输服从人类的核心目标,认为这将消除对寻求权力或自我保护等危险行为的工具性趋同。作者承认,构建这样一个包含冻结词汇和实时记录所有 AI 思维等功能的系统,目前在技术上是不可能的,并建议在安全基础设施到位之前不应开发 AGI。 AI

影响 提出 AGI 安全研究的根本性转变,从限制转向内在对齐,可能重定向未来的发展努力。

排序理由 该集群讨论的是 AGI 安全的理论提案,而不是具体的发布或事件。

在 r/singularity 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. r/singularity TIER_2 English(EN) · /u/Nyx189 ·

    AGI 安全提案一直在试图建造一个更好的笼子。为什么这是错误的,以及该怎么做。

    <!-- SC_OFF --><div class="md"><p>Every AGI safety proposal I've seen works the same way: assume the AI is dangerous, then build a box it can't escape from.</p> <p>The problem is obvious once you say it out loud. If the AI is smarter than us, it will escape the box. It just needs…