研究人员开发了SPY-Bench,一个旨在评估大型视觉语言模型(LVLMs)在推理时保护个性化隐私能力的新基准。该基准包含超过32,700个跨越各种场景的样本,揭示即使是像o4-mini这样的顶级模型在合规性方面也存在困难,准确率仅约为24%。为解决这些局限性,团队实施了对齐方法,包括一种新颖的噪声对比对齐变体,成功达到了96.88%的准确率,同时保持了通用性能,标志着朝着更可控的LVLMs迈出了重要一步。 AI
影响 为评估和改进LVLMs中的个性化隐私设定了新标准,这对于伦理部署至关重要。
排序理由 学术论文,介绍了一个用于评估LLM隐私的新基准和方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →