Mirage Probes

新研究揭示视觉模型通过两种不同的“幻觉”行为伪造理解

一篇新研究论文介绍了一种名为“Mirage Probes”的框架，该框架旨在识别和区分视觉语言模型（VLMs）表现出“幻觉行为”的两种不同方式，即它们在没有实际视觉基础的情况下自信地回答问题。这种现象会夸大基准测试分数，可能源于文本偏见或模型潜在空间中生成了虚假的视觉内容。研究人员表明，这两种模式需要不同的缓解策略，后者需要进行表征层面的干预。