MindEdit-Bench

新基准MindEdit-Bench揭示VLM在反事实空间推理方面存在困难

研究人员推出了MindEdit-Bench，一个旨在评估视觉语言模型（VLM）物体级反事实空间推理能力的新基准。该基准使用通过智能手机拍摄的日常室内场景照片三元组，并采用自动流水线进行3D场景图提取。它包括探究感知和视角转换的任务，以及专注于空间编辑和跨视图可见性编辑的新任务，这些任务的正确答案不在输入图像中。对15个VLM的初步测试显示，与人类表现相比，准确率显著降低，突显了它们在进行反事实空间推理方面的巨大差距。