研究人员开发了一个名为Chameleon的新攻击框架,旨在利用在动态在线环境中运行的GUI代理的漏洞。现有的环境注入攻击(EIA)方法通常不切实际,未能考虑到网页内容的不断变化。Chameleon通过使用LLM驱动的环境模拟来生成多样化的网页模拟,并采用注意力黑洞机制来优化触发器并提高代理对无关内容的鲁棒性,从而解决了这一问题。在多个网站和LVLM驱动的GUI代理上的评估表明,Chameleon的性能明显优于先前的方法。 AI
影响 这项研究突显了GUI代理潜在的安全风险,需要提高其对复杂环境注入攻击的鲁棒性。
排序理由 该集群包含一篇详细介绍新攻击框架和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Attention Black Hole
- Chameleon
- Environmental Injection Attacks
- GUI agents
- LLM-Driven Environment Simulation
- LVLM-powered GUI agents
- Yitong Zhang
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →