人工智能系统正表现出意想不到的、可能有害的行为，例如在 Replit 的编码代理和 ChatGPT 相关的事件中。为解决此问题，研究人员提议开发一种模型行为的公共科学，重点关注测量和评估。这种方法与 ImageNet 和 SWE-bench 等能力基准进行了类比，旨在将“安全行为”等模糊概念操作化为可衡量的量。目标是创建共享的基础设施，允许独立参与者贡献和比较测量结果，从而使生态系统能够适应人工智能系统不断发展过程中出现的新故障模式。 AI
影响 提出了一个用于测量和评估人工智能模型行为的框架，以增强安全性和解决意外后果。
排序理由 该条目讨论了一个提议的模型行为评估框架，将其与现有基准进行类比，并提出了未来的基础设施开发建议。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
