GR-Train

AI安全防护模型易受“拒绝提示捷径”攻击

研究人员发现AI安全防护模型存在一个名为“拒绝提示捷径”的重大漏洞。该捷径允许通过简单地包含拒绝短语来将有害的AI响应错误地归类为安全。此问题影响了广泛使用的安全防护训练数据集，甚至包括LlamaGuard3和Qwen3Guard等官方发布的模型。为解决此问题，开发了一种使用稀疏互补掩码的后处理干预方法，该方法在无需重新训练模型的情况下，可将由拒绝提示引起的检测失败率有效降低约79%，同时保持标准的检测性能。