R2R dataset

新型黑盒攻击针对视觉语言导航系统

研究人员开发了AdvNav，一个新颖的黑盒对抗性攻击框架，旨在破坏视觉与语言导航（VLN）系统。与之前需要白盒访问的方法不同，AdvNav仅基于可观察的输入和输出来运行，使其更适用于现实世界中已部署的系统。该框架使用双粒度行为反馈机制来指导其优化策略，有效地发现会降低导航性能的噪声配置。评估表明，AdvNav在R2R数据集上针对基于Transformer和基于LLM的VLN模型取得了高攻击成功率，突显了关键的感知漏洞。