Acea

新竞技场连接大语言模型红队攻击与蓝队防御

研究人员开发了ACEA，一个对抗性协同进化竞技场，旨在通过头对头的方式让红队攻击与蓝队防御相互对抗来测试大语言模型（LLMs）。该平台通过标准化的HTTP协议连接各种攻击和防御项目，允许模型无关的参与。ACEA包含一种评估方法，使用种子秘密来区分真实数据泄露与幻觉，并独立于防御成功与否来衡量原始攻击效力。该系统还具有实时可视化和详细报告，以查明失败之处，并提供一个可选的改进循环，为适应性团队提供咨询提示。