Verdict Log-Odds Supervision

新基准暴露具身AI指令遵循中的潜在安全风险

研究人员推出了GuardianBench，一个旨在评估具身AI系统中潜在上下文风险的新基准。该基准侧重于AI模型在同一视觉场景中区分安全和不安全指令的能力，这是安全方面一个被低估的关键方面。对最先进的视觉语言模型的初步测试揭示了显著的弱点，模型在给定上下文中未能准确区分安全和不安全指令。该研究还提出判决对数赔率监督（VLOS）作为一种训练后方法，以提高这些模型的安全推理能力。