SPOT-THE-SHIFT

新基准SPOT-THE-SHIFT揭示MLLM在长期图像变化检测方面存在困难

研究人员推出了SPOT-THE-SHIFT，这是一个旨在评估多模态大型语言模型（MLLM）在理解和描述图像中长期变化方面的能力的新基准。该基准侧重于基于现实的图像差异字幕生成，为真实驾驶场景中的结构性变化提供自然语言描述和空间掩码。初步测试显示，当前最先进的MLLM在执行此任务所需的复杂空间推理方面存在困难。该研究还包括一种生成合成数据的方法，可以在不损害通用能力的情况下提高MLLM的性能。