Prefill Jailbreak

研究揭示简单提示如何绕过人工智能安全拒绝

研究人员已经找到了一个机制性解释，说明一个简单的单行提示如何绕过已对齐语言模型的安全拒绝。他们的研究表明，虽然有害内容的表征仍然很强，但当添加“Sure, here is”前缀时，模型的行为拒绝会显著下降。这种拒绝机制似乎是一种浅层计算，局限于模型响应的前半部分，而不是一种深入的、特定于安全的抑制。研究结果表明，预填充的影响主要是由于通用的自回归条件作用，恢复拒绝需要重新激活这一早期计算阶段。