SD 1.4

新的AEGIS防御机制可应对文本到图像模型中的视觉同义词攻击

研究人员开发了AEGIS，这是一种新颖的防御机制，旨在保护文本到图像扩散模型免受视觉同义词攻击（VSA）。这些攻击利用看似无害提示中的隐式视觉关联来生成禁止的图像，从而绕过传统的安全过滤器。AEGIS通过动态追踪生成过程中不安全语义的出现，识别出充当禁止视觉信息瓶颈的特定注意力头。通过仅在这些脆弱的注意力头上应用相似性感知排斥，AEGIS旨在提高安全性和可用性，在SD 1.4和SD 2.1等模型上表现优于16种基线防御方法。