Greshake

RAG 系统中出现提示注入风险

提示注入是一种安全漏洞，其中嵌入在检索内容中的恶意指令会操纵 AI 模型，尤其是在检索增强生成 (RAG) 系统中。这种间接攻击形式发生在 AI 被要求使用外部文档回答问题时，但实际上它被文档中的指令引导，给出了虚假或有害的响应。研究人员已经证明，此类指令会影响 AI 集成的应用程序，导致误导性答案、数据泄露或未经授权的操作，因此需要采取强有力的防御措施，例如将检索到的内容视为不可信内容并验证工具请求。