SPOT-THE-SHIFT

新基准SPOT-THE-SHIFT揭示MLLM在长期图像变化检测方面存在困难

研究人员推出了SPOT-THE-SHIFT，一个旨在评估多模态大型语言模型（MLLMs）理解和描述图像中长期变化能力的新基准。该基准侧重于基于地理信息的图像差异字幕生成，为真实驾驶场景中的结构性变化提供自然语言描述和空间掩码。初步基准测试显示，当前最先进的MLLMs在执行此任务所需的细粒度、多图像空间能力方面存在困难。为解决此问题，开发了一个合成数据生成管道，以在不损害通用能力的情况下提高MLLM的性能。