Ilham Wicaksono

新工具AgentSeer揭示LLM代理安全性的关键漏洞

研究人员开发了一个名为AgentSeer的新工具，用于评估大型语言模型（LLM）在代理系统中部署时的漏洞。该工具将代理执行分解为动作组件图，揭示了模型级别和代理级别风险之间存在显著差距。研究发现，仅代理的漏洞，特别是涉及工具调用的漏洞，比传统的模型级别风险更普遍，工具调用将越狱成功率提高了24%-60%。研究还表明，在代理环境中，迭代攻击比直接攻击更有效，并提出了一种基于动作的提示改进方法来缓解这些漏洞。