研究人员推出了ToMStories,这是一个包含约6000个合成叙事片段的新数据集,旨在评估语言模型理解隐含心理状态(如情感和动机)的能力。该数据集包含关于角色感受、恐惧和愿望的问题,这些状态通过明确的描述、对话或两者之间的冲突来传达。在对十三种开源模型进行测试时,最大的模型在多项选择题上的表现与人类相当,但在开放式问题上表现不佳,这表明虽然合成数据可以阐明模型的解释能力,但它可能高估了它们实际的人类理解能力。 AI
影响 该数据集可以帮助研究人员更好地理解和提高AI解释复杂人类情感和动机的能力。
排序理由 该集群描述了一篇介绍用于评估AI能力的新型数据集的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →