Plan-Bench

新的Plan-Bench基准揭示了VLM在推理和规划方面的局限性

研究人员推出了Plan-Bench，一个旨在评估具身环境中视觉语言模型（VLMs）推理和规划能力的新基准。该基准包含16个子类别的699个样本，旨在将这些高级规划技能与动作执行区分开来。对28个VLMs的初步评估显示，即使是表现最好的模型，准确率也仅达到75.0%，表明在改进方面仍有很大空间。研究还发现，模型越大通常表现越好，并且作为具身AI任务的高级规划者的潜力也在不断增长。