DTAP-BENCH

新研究表明，自我批评可以提高AI红队测试的有效性

一篇新研究论文探讨了红队测试大型语言模型（LLMs）的不同方法的有效性。研究发现，自我批评（即目标LLM诊断自身的失败）比外部批评更有效。然而，自我提议（即目标LLM也生成下一个对抗性提示）由于明确的拒绝而效果较差。该论文提出了一种角色分离的方法，其中目标会话负责批评，而单独的攻击者负责生成提议，在DTAP-BENCH数据集上实现了63.2%的攻击成功率。