MeetingToM

新的基准测试 MeetingToM 评估大语言模型在会议中的社交推理能力

研究人员推出了 MeetingToM，这是一个新的基准测试，旨在评估多模态大语言模型（MLLMs）在多方会议情境下的心智理论（ToM）能力。该基准测试通过关注潜在的社交状态和群体动态（例如，表面上的一致但私下有异议的伪共识）来解决现有评估的局限性。MeetingToM 在个体、二元和群体层面评估 ToM，对当前 MLLMs 的分析显示，在整合非语言线索和推断隐藏态度方面仍然存在挑战。