新的IDEAL-Bench评估视觉语言模型中的3D布局推理能力

研究人员推出了IDEAL-Bench，这是一个旨在评估视觉语言模型（VLMs）3D布局推理能力的新评估套件。该基准测试使用了一个包含1000个程序生成Blender环境的数据集，称为IDEAL-Scenes，用于测试VLMs在室内场景中预测物体姿态和范围的能力。对15个VLMs的初步评估显示，该任务仍未得到充分解决，表现最好的模型仅获得100分中的62.1分，并突显了当前模型在物体识别和几何回归能力之间存在显著差异。 AI

影响 该基准测试旨在改进对VLMs空间智能的评估，推动超越简单问答的更严格的评估。

排序理由 该集群描述了一篇介绍用于评估AI模型的新颖基准和数据集的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• Blender
• CLEVR
• IDEAL-Bench
• IDEAL-Scenes
• vision-language model

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →