black-box red-teaming

新框架ReMAS旨在发现多智能体AI系统的漏洞

研究人员开发了ReMAS，一个新颖的强化学习框架，用于识别多智能体系统（MAS）中的漏洞。与之前专注于单一智能体的方法不同，ReMAS专门设计用于解决MAS的复杂性，其中子智能体可能不直接与用户交互。该框架采用提示精炼和模板生成两步过程，以有效地从这些复杂系统中提取系统提示。实验表明，ReMAS的性能显著优于现有的黑盒攻击，并且在不同LLM和MAS架构上表现出适应性，凸显了针对复杂对手加强防御的必要性。