浙江大学的研究人员推出SpaceCast-Bench,这是一个旨在评估视觉语言模型(VLMs)预测性空间推理能力的新基准。该基准评估VLMs在转换或干预后,即使没有改变状态的直接视觉输入,也能推断空间关系的能力。在涉及21个VLMs的测试中,最高准确率仅为58.0%,远低于人类基准的87.2%。值得注意的是,专门的空间模型表现不如通用模型,这表明当前的训练方法可能未能充分解决预测性空间推理的复杂性。 AI
影响 这项研究突显了当前视觉语言模型在推理空间变化方面存在重大差距,表明需要改进架构和训练方法以应用于现实世界的机器人应用。
排序理由 该集群描述了一个用于评估AI模型的新学术基准,以及关于其性能的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
- ACM Multimedia
- Cambrian-S-7B
- Gemini 3.5 Flash
- Huawei Genius Boy
- HuggingGPT
- Li Dingming
- Li Hongxing
- Lu Weiming
- Qwen3.7-Plus
- SenseNova-SI-1.2
- Shen Yongliang
- SpaceCast-Bench
- Su Jinyue
- vision-language model
- Wu Wenjun Artificial Intelligence Science and Technology Award
- Xiao Jun
- Zhang Wenqi
- Zhejiang University
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →