N-Gram Coverage Attack

新的N-Gram攻击探测黑盒LLM的训练数据泄露

研究人员开发了一种新的成员推断攻击，称为N-Gram覆盖攻击，该攻击可以通过仅分析文本输出来应用于GPT-4等黑盒语言模型。该方法利用了模型倾向于记忆和重新生成训练数据中文本模式的观察结果。该攻击表现出强大的性能，甚至可以与白盒方法相媲美，并且随着生成序列的增加，其有效性也会提高。值得注意的是，研究发现GPT-4o等较新模型对这类攻击的抵抗力有所提高，表明隐私措施得到了加强。