VLMShield

新的VLMShield防御机制可保护视觉语言模型免受恶意提示攻击

研究人员开发了VLMShield，一种新颖的防御机制，旨在保护视觉语言模型（VLMs）免受恶意提示攻击。该系统利用多模态聚合特征提取（MAFE）框架来分析集成的多模态表示，识别良性和恶意提示之间的独特模式。VLMShield被呈现为一个轻量级、即插即用的安全检测器，在实验评估中表现出卓越的鲁棒性、效率和实用性，旨在提高多模态AI部署的安全性。