SocialReasonBench

新基准测试AI在反事实视频中的社交推理能力

研究人员推出了SocialReasonBench，这是一个新的视频问答基准，旨在评估大型多模态模型（LMMs）的社交推理能力。该基准利用了游戏《底特律：变人》中的反事实叙事视频，玩家的选择会导致不同的社交结果。SocialReasonBench评估七个推理维度，包括意图识别、情感共情和反事实推理，结果显示当前的LMMs在基本的社交理解方面表现良好，但在更复杂的原因和反事实场景方面存在困难。