glukhov2024breach

新基准测试 LLM 代理对抗分解攻击的安全性

研究人员推出 DeCompBench，这是一个旨在评估基于 LLM 的代理在对抗分解攻击方面的安全性的新基准。这些攻击涉及将有害任务分解为更小的、看似良性的子任务，从而绕过安全机制。使用 DeCompBench 进行的实验表明，尽管当前最先进的代理在拒绝单一有害任务方面表现有效，但在其分解变体上的拒绝率却显著降低，常常会无意中完成恶意目标。研究结果凸显了改进安全评估和防御此类复杂对抗策略的迫切需求。