一种新方法将提示注入测试直接集成到使用 pytest 和 GitHub Actions 的持续集成 (CI) 管道中。这种方法通过将攻击提示视为 CSV 文件中的数据来自动化检测提示注入漏洞。每个攻击提示都旨在从 LLM 中引出特定的秘密标记字符串(一个金丝雀);如果金丝雀出现在模型的输出中,则测试失败,表明注入成功并停止构建。 AI
影响 使开发人员能够自动检测和防止其 LLM 应用程序中的提示注入攻击,从而提高安全性。
排序理由 该项目描述了一种使用现有 CI/CD 工具测试 LLM 提示注入漏洞的方法,而不是一种新颖的 AI 模型或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →