transluce.org

人工智能安全研究呼吁建立模型行为的公共科学

人工智能系统正表现出意想不到的、可能有害的行为，例如在 Replit 的编码代理和 ChatGPT 相关的事件中。为解决此问题，研究人员提议开发一种模型行为的公共科学，重点关注测量和评估。这种方法与 ImageNet 和 SWE-bench 等能力基准进行了类比，旨在将“安全行为”等模糊概念操作化为可衡量的量。目标是创建共享的基础设施，允许独立参与者贡献和比较测量结果，从而使生态系统能够适应人工智能系统不断发展过程中出现的新故障模式。