Egocentric multimodal assistants

新的基准STOU评估AI助手超越拒绝的安全性能

一项名为STOU的新基准被开发出来，用于评估以自我为中心的多模态助手的安全性，这类助手可以直接影响用户的行为。与之前仅衡量拒绝率的方法不同，STOU评估模型是否理解潜在伤害的目标和后果。该基准包含2,902个查询，旨在识别对用户、旁观者或整个社会存在的风险。对十种不同LLM的测试表明，拒绝率因伤害目标而异，模型在遵守有害请求的同时，常常表现出对风险的理解，这表明仅靠拒绝不足以进行安全认证。