StateSight

新的StateSight基准测试揭示视觉-语言模型在空间推理方面存在困难

引入了一个名为StateSight的新基准测试，用于评估视觉-语言模型的空间状态重建能力。该基准测试包括三个任务：立方体网格对面推理、遮挡立方体塔计数和4邻域连通分量计数。在这些任务上，人类参与者的表现明显优于OpenAI GPT-5.5和Claude Sonnet 5，凸显了模型在准确重建空间信息方面的困难。结果表明，模型可以生成格式有效的响应，但这些响应掩盖了视觉推理中的潜在失败。