VGEBench

新的VGEBench基准评估视觉语言模型的设备探索能力

研究人员推出了VGEBench，这是一个旨在评估视觉语言模型（VLM）可泛化的视觉基础探索能力的新基准。目前的具身探索方法通常依赖于模仿学习，这限制了智能体的泛化能力。VGEBench旨在通过使用一个逻辑驱动的状态机框架来模拟多轮交互循环，迫使智能体通过主动的视觉感知和反馈驱动的纠正来实现目标，而不依赖于显式文档或标注轨迹。初步实验表明，现有的VLM在将语义知识转化为物理执行和维持长时程状态跟踪方面存在困难。