研究人员推出了PIVOTS,一个旨在评估多模态大语言模型(MLLMs)理解和推理人际关系能力的新基准。该基准源自Social-IQ 2.0和YouTube数据,评估模型根据心理学研究预测双向关系维度的能力。PIVOTS还包括识别关键视觉线索的任务,并分析视觉模态和社会角色信息对对话预测的影响。 AI
影响 该基准有望推动MLLMs在社会推理能力方面的改进,从而实现更细致、更像人类的交互。
排序理由 该集群包含一篇介绍用于评估AI模型的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →