PriVE-Bench

新基准测试视觉语言模型是否将答案建立在像素之上

研究人员推出了 PriVE-Bench，这是一个旨在评估视觉语言模型（VLM）在多大程度上将其答案建立在视觉证据之上，而不是依赖于学习到的语言或类别先验的新基准。该基准使用成对的原始图像和逆事实图像来测试模型是否能够区分视觉现实与常识。此外，PriVE-Tools 通过评估使用边界框和裁剪等工具的代理视觉系统是否能改善针对这些逆事实冲突的接地情况来扩展这一点。初步结果表明，虽然视觉证据工具可以帮助一些模型，但它们并不能普遍阻止对先验的依赖。