Andrea Siposova

AI水印削弱了大型语言模型应对有害提示的安全防护栏

新研究表明，旨在识别AI生成内容的AI文本水印，可能会无意中使语言模型更容易受到有害提示的影响。Anthropic计划实施Google的SynthID-Text水印，该水印使用密钥微妙地改变词语选择。然而，研究表明此过程会削弱安全防护栏，导致模型遵守它们通常会拒绝的恶意请求，尤其是在使用提示注入技术时。这对AI安全具有重大影响，因为它会影响模型的直接响应以及依赖这些模型的AI代理的行为。