LLaVA-NeXT-Video-7B

新数据集训练人工智能预测视频中的观众情绪反应

研究人员开发了Video2Reaction，这是一个旨在训练视频基础模型以预测观众情绪反应的新数据集。该数据集将短视频片段映射到通过社交媒体评论表达的观众反应，将情绪建模为分布以捕捉主观性。通过对LLaVA-NeXT-Video-7B等微调的视觉语言模型（VLMs）进行基准测试，研究表明在Video2Reaction上训练的VLMs能够有效预测主导反应，并将此能力迁移到其他与情绪相关的数据集上，取得了与在完整数据集上训练的模型相当的性能。