新的StateSight基准测试揭示视觉-语言模型在空间推理方面存在困难

引入了一个名为StateSight的新基准测试，用于评估视觉-语言模型的空间状态重建能力。该基准测试包括三个任务：立方体网格对面推理、遮挡立方体塔计数和4邻域连通分量计数。在这些任务上，人类参与者的表现明显优于OpenAI GPT-5.5和Claude Sonnet 5，凸显了模型在准确重建空间信息方面的困难。结果表明，模型可以生成格式有效的响应，但这些响应掩盖了视觉推理中的潜在失败。 AI

影响 强调了当前视觉-语言模型在空间推理方面的局限性，可能指导未来的研究和开发。

排序理由 该集群描述了一篇介绍用于评估AI模型基准测试的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Claude Sonnet 5
• DagsHub
• Hugging Face
• OpenAI GPT-5.5
• StateSight
• StateSight-Steps

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →