QuasiLeak-Bench

新基准评估基于LLM的隐私检测器在准标识符恢复方面的能力

研究人员推出QuasiLeak-Bench，一个旨在评估基于LLM的隐私检测器有效性的新基准。该基准侧重于识别可组合起来揭示私人属性的准标识符，并考虑了发送者指定的披露策略。当前的隐私检测器在此基准上的表现不佳，常常无法识别完整的准证据组或标记禁止的披露。然而，在QuasiLeak-Bench训练数据上微调一个4B模型表明，该任务是可学习的，并且可以超越提示模型的性能。