EvoSkillSafetyBench

新的威胁模型针对自主进化AI的技能生成

研究人员引入了EvoSkill Injection，这是一个识别能够自主生成和优化技能的自进化AI代理中漏洞的威胁模型。为解决此问题，他们开发了SARGE，一个旨在通过迭代诱导恶意技能形成来测试这些代理的红队演练框架。该研究还创建了EvoSkillBench，一个用于生成有害技能的数据集，以及EvoSkillSafetyBench，用于评估这些注入的恶意技能的激活情况。