使用面部空想性错觉诊断探测视觉模型的偏见

研究人员开发了一个新的诊断框架，利用面部空想性错觉来评估视觉模型在面对模糊视觉输入时的行为。该研究分析了包括视觉-语言模型（VLMs）、纯视觉分类器和目标检测器在内的六个模型，以了解它们的决策过程。研究结果表明，LLaVA-1.5-7B等VLMs倾向于表现出语义过度激活，经常将非人脸图案误解为人脸，特别是带有负面情绪的图案。相比之下，ViT等纯视觉分类器在没有明显偏见的情况下表现出不确定性，而目标检测器则通过保守的先验知识保持低偏见。 AI

影响 这项研究提供了一种评估视觉模型鲁棒性和偏见的新颖方法，尤其是在模糊情况下，这可能有助于构建更可靠的AI系统。

排序理由 学术论文，详细介绍了视觉模型的新诊断框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• CLIP-B/32
• CLIP-L/14
• LLaVA-1.5-7B
• Qianpu Chen
• RetinaFace
• ViT
• YOLOv8

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →