PhysMent

新的基准测试通过交互式物理模拟来测试LLM的物理推理能力

研究人员推出PhysMent，这是一个旨在通过交互式实验来评估大型语言模型（LLM）物理推理能力的新基准。与静态基准不同，PhysMent要求LLM通过施加力、查询状态和修改环境来积极与MuJoCo物理模拟器互动，然后再回答问题。虽然当前模型在定性任务上表现出能力，但在需要精确、多步实验程序的定量问题上，它们的性能显著下降，大多数模型在具有挑战性的单一概念任务上的得分低于30%。