JailbreakDB

新框架系统化大语言模型提示安全评估

研究人员开发了一个全面的框架来解决大语言模型（LLM）提示安全领域碎片化的问题。这项工作在一篇新论文中详细介绍，引入了针对攻击、防御和模型漏洞的统一分类法，以及针对威胁、访问和成本假设的显式元数据。该工作还发布了 JailbreakDB、PromptSecurity-Eval 和 PromptSecurity，这是一个模块化平台，旨在实现对 LLM 提示安全的可复现且成本可控的评估。研究人员演示了访问机制和防御失效等各种因素如何显著影响安全结论。