研究人员推出了SocialReasonBench,这是一个新的视频问答基准,旨在评估大型多模态模型(LMMs)的社交推理能力。该基准利用了游戏《底特律:变人》中的反事实叙事视频,玩家的选择会导致不同的社交结果。SocialReasonBench评估七个推理维度,包括意图识别、情感共情和反事实推理,结果显示当前的LMMs在基本的社交理解方面表现良好,但在更复杂的原因和反事实场景方面存在困难。 AI
影响 凸显了当前AI模型理解复杂社交动态和反事实场景能力的局限性,指明了未来研究方向。
排序理由 该集群包含一篇介绍AI评估新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →