研究人员开发了一种名为竞争性目标测试的新方法,以更准确地评估激活转向向量在 AI 模型中施加的控制。该测试将旨在影响一种行为的向量与旨在影响竞争性行为的向量进行比较。当应用于开放权重模型时,该测试显示,旨在引导至康德义务论或功利主义行为的向量在很大程度上共享相同的方向,这表明它们主要发出应用*某种*伦理框架的请求,而不是特定的伦理框架。这与控制语气的向量形成对比,后者的共享方向较少,这表明在针对竞争性目标进行适当测试时,激活转向确实可以影响特定的视角。 AI
影响 这项研究引入了一种更严格的方法来评估 AI 对齐和控制,有可能带来更可预测和可伦理引导的 AI 系统。
排序理由 该集群包含一篇学术论文,详细介绍了评估 AI 模型行为的新方法。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →