LLM-based paraphrasing

新方法增强了对恶意AI指令的检测能力

研究人员开发了一种检测嵌入文本中的恶意指令的新方法，这种漏洞被称为间接提示注入（IPI）。该方法具有上下文和查询感知能力，优于现有检测器。为了增强对自适应规避攻击的鲁棒性，研究人员实施了两种对抗性训练方法：一种使用基于投影梯度的方法在嵌入空间中进行优化，另一种通过基于LLM的释义来模拟真实世界的攻击。实验表明，该方法优于当前基线，尤其是在对抗自适应攻击方面，尽管最优参数可能因应用领域而异。