Sebastian Cavada

新数据集揭示基础模型在牛顿物理学方面存在困难

研究人员推出了 NewtPhys，这是一个旨在评估基础模型对牛顿物理学理解程度的新数据集。该数据集使用具有物理学基础模拟的真实场景，并提供详细、细粒度的注释来评估低级物理推理，这与之前侧重于简单场景的基准测试不同。使用 NewtPhys 进行的评估揭示了包括开放权重模型和前沿模型在内的 56 个视觉语言模型和 10 个视觉基础模型的物理学理解能力存在局限性。该数据集旨在推进物理学基础视觉研究以及开发更复杂的物理感知评估。