spatial planning

新的AgentVQA基准揭示了VLM在视觉理解方面的局限性

研究人员推出了AgentVQA，这是一个新的离线基准，旨在评估智能体任务中视觉语言模型（VLM）的视觉理解能力。该基准包含来自五个领域（Web智能体、机器人、自拍视频、游戏和空间规划）的1000个真实世界示例。对22个VLM的评估显示，即使是表现最好的模型，准确率也仅为58.5%，主要的失败模式被确定为视觉基础和状态跟踪问题，而非任务解释问题。