IAU-FOA

新的攻击方法提高了闭源多模态大语言模型的对抗可迁移性

研究人员开发了一种名为IAU-FOA的新方法，以提高对抗性攻击对闭源多模态大语言模型（MLLMs）的有效性。该技术通过在全局和局部层面进行特征对齐来增强对抗性样本的可迁移性，解决了先前主要使用全局图像级特征的方法的局限性。IAU-FOA结合了置信度自适应不平衡传输进行细粒度特征对齐，以及视觉不变性增强，以确保对抗性扰动能够跨不同的视觉编码器泛化，在性能上优于现有方法。