OODConceptBench

新基准揭示视觉语言模型在开放世界概念方面存在困难

研究人员开发了OODConceptBench，这是一个旨在评估视觉语言模型在开放世界场景中识别概念能力的新基准。该基准包含完整数据集（L1）中的30,752张图像和更难的子集（L2）中的14,285张图像，涵盖了七个类别中的560个概念短语。对37个模型的评估显示，L2上的性能始终低于L1，并且较新模型在开放世界概念识别方面并不总是优于旧模型，这表明分布外挑战依然存在。