两篇文章提出了用于大型语言模型(LLM)应用红队测试的“金丝雀方法”,提供了一种比传统越狱提示更安全、更客观的方法。该方法涉及将无意义的、唯一的标记(金丝雀)嵌入系统提示、文档或配置中。如果这些金丝雀出现在意外的输出或日志中,则表明存在安全故障,从而提供清晰的通过/失败结果,而无需生成有害内容。该方法已映射到LLM应用的OWASP Top 10,并推荐了针对提示注入和敏感信息泄露等常见漏洞的具体测试。 AI
影响 为LLM安全测试提供了一种标准化、安全且客观的方法,有可能提高AI应用的鲁棒性。
排序理由 文章描述了一种用于测试LLM应用的实用方法和工具,而不是新的模型发布或基础研究。
- LLM
- OWASP Top 10 for LLM Applications
- Prompt Injection
- retrieval-augmented generation
- CANARY-7F3A
- Canary Method
- CANARY-TENANT-A
- jailbreak prompts
- LLM01
- LLM08
- PWNED
- Sensitive Information Disclosure
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →