一个名为DominoBench的新基准已被开发出来,用于评估当前视觉语言和多模态AI模型的逐步物理推理能力。研究人员发现,即使是来自Anthropic、Google和OpenAI的先进模型,在没有明确指导的情况下,也难以从静态图像预测2D刚体场景的结果。虽然在提供必要的计算和数量时,模型可以达到很高的准确率,但其独立表现明显较低,表明在定量推理步骤中存在缺陷。 AI
影响 突出了AI在执行无提示定量物理推理方面的关键差距,而这对于现实世界的应用至关重要。
排序理由 该集群描述了一个用于评估AI模型的新学术基准。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →