LLM-Driven Environment Simulation

新的Chameleon框架利用了动态环境中GUI代理的漏洞

研究人员开发了一个名为Chameleon的新攻击框架，旨在利用在动态在线环境中运行的GUI代理的漏洞。现有的环境注入攻击（EIA）方法通常不切实际，未能考虑到网页内容的不断变化。Chameleon通过使用LLM驱动的环境模拟来生成多样化的网页模拟，并采用注意力黑洞机制来优化触发器并提高代理对无关内容的鲁棒性，从而解决了这一问题。在多个网站和LVLM驱动的GUI代理上的评估表明，Chameleon的性能明显优于先前的方法。