Dominik Seip

新的“PRAC”攻击针对AI代理的视觉模态

研究人员开发了一种名为PRAC的新攻击，该攻击针对多模态基础模型的视觉模态，特别是计算机使用代理（CUAs）。与之前直接操纵模型输出的攻击不同，PRAC使用隐蔽的对抗性补丁来重定向模型的注意力。该方法已被证明成功地操纵了在线购物平台上的CUA选择特定目标产品。虽然该攻击需要白盒访问权限才能创建，但它对微调模型表现出泛化能力，对基于开放权重模型构建的CUA构成了重大的安全风险。