UMBench

新的UMBench基准测试评估城市遥感多模态大语言模型（MLLMs）的细粒度视觉推理能力

一项名为UMBench的新基准测试已被开发出来，用于评估多模态大语言模型（MLLMs）在城市遥感背景下的细粒度视觉推理能力。该基准测试使用无人机（UAV）影像构建，涵盖交通监控、建筑评估、环境质量和灾害预警等任务。初步评估表明，当前的MLLMs倾向于依赖于一般的场景理解，而不是具体的视觉证据。为了改善这一点，提出了一种新颖的“证据优先”思维链方法，该方法指导模型在无需额外训练的情况下关注细粒度的视觉细节，并在UMBench上显示出性能提升。