SPY-Bench

新基准揭示LVLMs在个性化隐私方面存在不足

研究人员开发了SPY-Bench，一个旨在评估大型视觉语言模型（LVLMs）在推理时保护个性化隐私能力的新基准。该基准包含超过32,700个跨越各种场景的样本，揭示即使是像o4-mini这样的顶级模型在合规性方面也存在困难，准确率仅约为24%。为解决这些局限性，团队实施了对齐方法，包括一种新颖的噪声对比对齐变体，成功达到了96.88%的准确率，同时保持了通用性能，标志着朝着更可控的LVLMs迈出了重要一步。