MetaBreak

新的MetaBreak方法利用LLM特殊标记进行越狱

研究人员开发了一种名为MetaBreak的新方法，该方法利用LLM微调中使用的特殊标记来绕过安全对齐和内容审核系统。这些特殊标记充当训练数据的元数据，可以被操纵以欺骗LLM生成有害内容。研究发现，像移除特殊标记这样的常见防御机制并非完全有效，因为它们可以被语义相似的常规标记规避。MetaBreak在现有提示工程方法方面表现出优越的性能，尤其是在内容审核活跃时，并且可以与其他技术结合以进一步提高越狱率。