IDEAL-Scenes

新的IDEAL-Bench评估视觉语言模型中的3D布局推理能力

研究人员推出了IDEAL-Bench，这是一个旨在评估视觉语言模型（VLMs）3D布局推理能力的新评估套件。该基准测试使用了一个包含1000个程序生成Blender环境的数据集，称为IDEAL-Scenes，用于测试VLMs在室内场景中预测物体姿态和范围的能力。对15个VLMs的初步评估显示，该任务仍未得到充分解决，表现最好的模型仅获得100分中的62.1分，并突显了当前模型在物体识别和几何回归能力之间存在显著差异。