研究人员推出了GuardianBench,一个旨在评估具身AI系统中潜在上下文风险的新基准。该基准侧重于AI模型在同一视觉场景中区分安全和不安全指令的能力,这是安全方面一个被低估的关键方面。对最先进的视觉语言模型的初步测试揭示了显著的弱点,模型在给定上下文中未能准确区分安全和不安全指令。该研究还提出判决对数赔率监督(VLOS)作为一种训练后方法,以提高这些模型的安全推理能力。 AI
影响 该基准可能导致对具身AI进行更鲁棒的安全评估,提高AI系统在实际应用中的可靠性。
排序理由 该集群是关于一篇介绍AI安全研究基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →