Co-PPO

新框架应对 AI 代理的自适应提示注入攻击

研究人员开发了 CoRL，一个用于防御和模拟工具增强语言代理的自适应间接提示注入 (IPI) 攻击的新框架。IPI 攻击将对抗性指令隐藏在工具输出中，对代理执行构成重大威胁。CoRL 通过将自适应 IPI 建模为马尔可夫博弈来解决此问题，使攻击者能够发展其策略，防御者能够调整其防御。该框架包括攻击初始化、协同进化训练和防御者巩固阶段，在保持任务效用的同时显著降低了攻击成功率。