GeoThreat

新型GeoThreat攻击目标是遥感领域的大型视觉语言模型

研究人员开发了一种新颖的对抗攻击方法GeoThreat，旨在操纵遥感图像解译领域的大型视觉语言模型（LVLMs）。该方法针对模型理解局部细节和全局场景上下文的能力，这对于分析遥感数据至关重要。GeoThreat通过利用代理图像编码器的类别令牌和对抗样本的补丁令牌，在概念和感知层面调节对抗性表示。大量实验表明，GeoThreat在攻击各种LVLMs时，在可迁移性和可控性方面均表现更优。