Chaojian Yu

新型后门攻击利用自然语言触发器攻击多模态AI模型

研究人员开发了一种名为文本引导后门（TGB）的新型后门攻击，该攻击针对多模态预训练模型。与先前需要特定触发条件的前向攻击不同，TGB利用自然出现的词语作为触发器，使其更隐蔽且适用于现实场景。通过引入视觉对抗性扰动可以调整攻击的强度，从而在不改变被污染数据的情况下灵活控制其有效性。在组合图像检索和视觉问答等任务上的实验证明了TGB利用这些模型安全漏洞的能力。