HuggingGPT

新基准揭示视觉语言模型在预测性空间推理方面存在困难

浙江大学的研究人员推出SpaceCast-Bench，这是一个旨在评估视觉语言模型（VLMs）预测性空间推理能力的新基准。该基准评估VLMs在转换或干预后，即使没有改变状态的直接视觉输入，也能推断空间关系的能力。在涉及21个VLMs的测试中，最高准确率仅为58.0%，远低于人类基准的87.2%。值得注意的是，专门的空间模型表现不如通用模型，这表明当前的训练方法可能未能充分解决预测性空间推理的复杂性。