本文详细介绍了一种通过使用“金丝雀令牌”来检测大型语言模型 (LLM) 中提示注入攻击的方法。该方法不依赖于不可靠的正则表达式过滤器，而是将独特的、随机生成的令牌嵌入到系统提示中。然后扫描 LLM 的输出以查找这些令牌；如果检测到令牌，则表明系统提示已被泄露。该系统使用 Redis 来存储和同步多个实例之间的金丝雀令牌状态，确保检测到的泄露会触发整个应用程序的警报和令牌轮换。还提出了一种额外的“追加和剥离”变体，指示 LLM 将特定令牌追加到每个响应中，为被劫持的模型行为提供更广泛的触发器。 AI
影响 提供了一种稳健的、低误报率的方法来检测提示注入攻击，从而增强了 LLM 应用程序的安全性。
排序理由 文章描述了一种用于保护 LLM 免受提示注入攻击的技术方法和实现，属于人工智能安全工具的范畴。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
