实体
jailbreak prompts
jailbreak prompts
PulseAugur coverage of jailbreak prompts — every cluster mentioning jailbreak prompts across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
金丝雀方法提供安全、客观的LLM红队测试
两篇文章提出了用于大型语言模型(LLM)应用红队测试的“金丝雀方法”,提供了一种比传统越狱提示更安全、更客观的方法。该方法涉及将无意义的、唯一的标记(金丝雀)嵌入系统提示、文档或配置中。如果这些金丝雀出现在意外的输出或日志中,则表明存在安全故障,从而提供清晰的通过/失败结果,而无需生成有害内容。该方法已映射到LLM应用的OWASP Top 10,并推荐了针对提示注入和敏感信息泄露等常见漏洞的具体测试。
-
新方法重新触发大语言模型安全措施以检测越狱提示
研究人员开发了一种新颖的方法来增强大语言模型(LLM)中越狱提示的检测能力。该技术通过重新触发LLM现有的内部安全措施来工作,这些措施可能被复杂的对抗性提示绕过。该方法涉及一种嵌入扰动技术来重新激活这些防御机制,并被证明在白盒和黑盒设置的适应性攻击等各种攻击场景中都有效。