JigShape

新的JigShape基准揭示了视觉语言模型在几何推理方面的局限性

开发了一个名为JigShape的新基准来评估视觉语言模型（VLMs）的视觉-几何推理能力。该基准使用相互咬合的拼图块来创建明确的地面真实性，与之前使用矩形切割的方法不同。初步测试显示，包括GPT-5.5在内的大多数前沿模型在零样本几何推理方面存在显著困难，即使在小型拼图上的表现也仅相当于随机猜测。虽然监督微调可以提高在简单网格上的性能，但所有模型在大型拼图上都会崩溃，这表明当前在复杂性增加时维持约束满足方面存在架构限制。