DiffSpot

新基准揭示VLMs在识别细微视觉差异方面存在困难

研究人员开发了DiffSpot，这是一个旨在测试视觉语言模型（VLMs）在网页界面中检测细微视觉差异能力的新基准。该基准包含4,400对图像，通过细微修改HTML中的CSS属性生成，重点在于确保视觉变化是局部化的。目前最先进的VLMs在此任务上面临困难，在零样本设置下，最好的模型只能识别出约40.7%的实际差异，这凸显了它们感知能力上的重大差距。