研究人员推出了GRASP,这是一个新的数据集和基准,旨在提高多模态大语言模型(MLLMs)理解视频中社会互动能力。GRASP将高层次的社会问题解答与对近50,000个视频中的注视和指示性手势的详细分析联系起来。该数据集还包括一种新颖的学习信号——社会基础奖励(SGR),它利用这些细粒度的事件来训练模型,以更好地识别社会互动中的参与者。 AI
影响 增强了AI在视频中解读复杂社会动态的能力,可能改进人机交互和视频分析等应用。
排序理由 该集群描述了一篇介绍AI研究数据集和基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →