研究人员推出了 BEHAVIOR-Spatial,一个旨在评估机器人领域视觉语言模型(VLM)空间理解能力的新基准。该基准建立在 BEHAVIOR-1K 数据集之上,评估在各种操作和导航任务中的空间问答、目标定位和机器人动作执行能力。初步评估表明,当前的 VLM 在遵循空间指令方面存在困难,特别是在目标物体发生变化或配置被排除的情况下,与有神谕视觉线索的场景相比,准确率显著降低。研究结果强调了独立于任务完成情况评估空间指令遵循性的必要性,以及更好地理解 VLM 感知如何转化为实际机器人行为的重要性。 AI
影响 该基准通过突出当前 VLM 空间推理的不足,有望推动机器人导航和操作能力的提升。
排序理由 该集群描述了一篇介绍用于评估人工智能能力基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →