CLIP-B/32

使用面部空想性错觉诊断探测视觉模型的偏见

研究人员开发了一个新的诊断框架，利用面部空想性错觉来评估视觉模型在面对模糊视觉输入时的行为。该研究分析了包括视觉-语言模型（VLMs）、纯视觉分类器和目标检测器在内的六个模型，以了解它们的决策过程。研究结果表明，LLaVA-1.5-7B等VLMs倾向于表现出语义过度激活，经常将非人脸图案误解为人脸，特别是带有负面情绪的图案。相比之下，ViT等纯视觉分类器在没有明显偏见的情况下表现出不确定性，而目标检测器则通过保守的先验知识保持低偏见。