SeeAct

新的MIRAGE框架实现了对网络代理的隐蔽视觉提示注入攻击

研究人员开发了MIRAGE，一种针对多模态大语言模型（MLLM）网络代理的视觉间接提示注入攻击的新型框架。该方法利用扩散模型创建感知上良性且仅限于攻击者控制区域（如广告位或小部件）的对抗性图像。MIRAGE结合了曲率感知对抗性扩散引导和稀疏扰动，能够有效地劫持代理的下一个动作，在SeeAct和OpenClaw等框架上展现出显著的有效性和真实性。