研究人员开发了Video2Reaction,这是一个旨在训练视频基础模型以预测观众情绪反应的新数据集。该数据集将短视频片段映射到通过社交媒体评论表达的观众反应,将情绪建模为分布以捕捉主观性。通过对LLaVA-NeXT-Video-7B等微调的视觉语言模型(VLMs)进行基准测试,研究表明在Video2Reaction上训练的VLMs能够有效预测主导反应,并将此能力迁移到其他与情绪相关的数据集上,取得了与在完整数据集上训练的模型相当的性能。 AI
影响 该数据集可以使人工智能系统更好地理解和响应视频内容中的人类情绪线索。
排序理由 该集群描述了一篇介绍新数据集和基准测试模型的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →