PinpointQA

新的PinpointQA基准测试MLLM在室内视频空间理解能力

研究人员推出PinpointQA，一个旨在评估多模态大语言模型（MLLM）在处理室内视频时的空间理解能力的新基准。该基准建立在ScanNet++和ScanNet200之上，包含超过10,000个问题-答案对，分为四个难度级别，侧重于精确的物体定位和空间描述。初步评估显示，当前MLLM在这些任务上的性能显著下降，尤其是在结构化空间预测方面，尽管监督微调显示出改进的潜力。