Haoyu Liu

新的DMAST方法增强了多模态网络代理抵御跨模态攻击的能力

研究人员开发了一种名为双模态多阶段对抗性安全训练（DMAST）的新方法，以提高多模态网络代理抵御复杂攻击的鲁棒性。这些代理能够处理来自网络界面的视觉和文本信息，容易受到跨模态攻击，即操纵内容同时影响两个观察通道。DMAST将这种交互形式化为一个博弈，并采用了一个三阶段的训练流程：模仿学习、Oracle引导的微调和对抗性强化学习。这种方法显著降低了攻击成功率，同时提高了在分布外任务上的完成度，优于现有防御措施。