研究人员开发了 ABHBench,这是一个旨在评估基础模型在复杂场景中作为代理时的道德决策能力的新基准。与依赖第三人称文本的先前基准不同,ABHBench 使用互动游戏《底特律:变人》为模型提供涉及视觉观察、对话和行动选择的第一人称、多模态困境。该基准评估了受阿西莫夫定律启发的无害性、服从性和自我保护,以及自主性、稳定性和确定性。对 12 个基础模型的初步测试显示,75% 的模型在情境化代理环境中的道德行为与纯文本抽象相比存在显著差异,这表明当前的评估方法可能无法完全捕捉真实世界 AI 代理的行为。 AI
影响 强调了对 AI 道德行为进行更现实、更代理式评估的必要性,可能影响未来的 AI 安全研究和开发。
排序理由 该集群描述了一个用于评估 AI 模型的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
- ABHBench
- Asimov's three laws of robotics
- Detroit: Become Human
- foundation models
- Harmlessness
- Obedience
- Self-preservation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →