EvoHarmBench

新的动态基准揭示大型语言模型内容审核的规避率高达80%

研究人员开发了EvoHarmBench，一个新颖的动态对抗性评估框架，旨在测试内容审核系统。与静态基准不同，EvoHarmBench模拟了现实世界中的交互式规避策略，用户会根据审核反馈调整其表达方式。该框架迭代优化了成功率和人类可读性方面的规避策略，揭示了领先的商业系统存在的重大漏洞。经过十二次优化迭代，即使在可读性受限的情况下，针对最先进的大型语言模型审核器的攻击成功率也达到了80.3%。