LivePI

新研究质疑提示注入攻击对RAG系统的有效性

近期研究表明，针对检索增强生成（RAG）系统的提示注入攻击可能不如之前认为的那么有效。重新评估这些攻击在包含检索和重排阶段的真实RAG流程中的研究发现，许多基于梯度和指令覆盖的攻击在到达生成器之前就已失败。由大型语言模型（LLM）驱动的提示注入仍然有效，但即使是这些攻击，也可以通过轻量级防御措施轻松检测到。此外，正在开发像LivePI这样的新基准，以更真实地评估跨越各种输入表面和恶意目标的间接提示注入风险，成功率因模型和攻击向量而异。