研究人员推出了Plan-Bench,一个旨在评估具身环境中视觉语言模型(VLMs)推理和规划能力的新基准。该基准包含16个子类别的699个样本,旨在将这些高级规划技能与动作执行区分开来。对28个VLMs的初步评估显示,即使是表现最好的模型,准确率也仅达到75.0%,表明在改进方面仍有很大空间。研究还发现,模型越大通常表现越好,并且作为具身AI任务的高级规划者的潜力也在不断增长。 AI
影响 突出了VLM规划能力的当前局限性,指导未来研究朝着更强大的具身AI代理发展。
排序理由 该集群包含一篇介绍AI模型评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →