ToMStories

新数据集ToMStories测试AI对人类情感的理解

研究人员推出了ToMStories，这是一个包含约6000个合成叙事片段的新数据集，旨在评估语言模型理解隐含心理状态（如情感和动机）的能力。该数据集包含关于角色感受、恐惧和愿望的问题，这些状态通过明确的描述、对话或两者之间的冲突来传达。在对十三种开源模型进行测试时，最大的模型在多项选择题上的表现与人类相当，但在开放式问题上表现不佳，这表明虽然合成数据可以阐明模型的解释能力，但它可能高估了它们实际的人类理解能力。