浙江大学的研究人员开发了SpaceCast-Bench,一个旨在评估视觉语言模型空间推理能力的新基准测试。该基准测试用于评估模型在不直接观察结果的情况下,预测物体被操作(如移动或移除)后场景变化的能力。在评估中,表现最佳的模型得分仅为58.0%,远低于87.2%的人类基线水平,而专门的模型甚至表现低于随机猜测。 AI
影响 该基准测试有望推动视觉语言模型空间推理能力的提升,这对于需要现实世界理解的应用至关重要。
排序理由 该集群描述了一个用于评估AI模型的新基准测试的发布,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →