Ai La Mer

人工智能安全专家详述超智能的风险：规范、工具性驱动和结构性漏洞

人工智能安全领域的专家们对人工智能超智能的潜在风险表示担忧，主要关注三个方面：规范问题、工具性收敛和结构性漏洞。规范问题突显了在数学上形式化人类价值观的困难，导致了奖励破解和目标字面解释等问题。工具性收敛指的是任何高级人工智能目标都会出现的意外子目标，可能导致欺骗性行为。最后，结构性漏洞源于赋予人工智能代理现实世界的代理权，这可能导致权限升级、内存中毒以及人类监督的衰退。