研究人员开发了MIRA-Bench,这是一个旨在测试视觉语言模型(VLMs)在涉及镜子场景中的空间推理能力的新基准。现有的基准通常忽略了反射引入的复杂性,在反射中,深度数据可能会失真,而视觉外观保持不变。MIRA-Bench包含来自各种真实世界场景的1000多张RGB-D图像,并标注了反射表面掩码和物体反射。对最先进的VLMs的评估显示,在识别反射、将物体与其真实对应物匹配以及进行准确的空间推理方面存在重大缺陷,深度数据甚至会降低性能。 AI
影响 突出了VLM空间推理中的一个关键差距,可能影响机器人和增强现实应用。
排序理由 该集群描述了一个用于评估AI模型的新基准和数据集,该数据集在一篇学术论文中发表。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →