MVEI

新基准和模型推动MLLM视觉情感智能发展

研究人员推出了一种新的框架，用于评估多模态大语言模型（MLLM）的视觉情感智能。该框架通过提出情感陈述判断（ESJ）的表述，解决了当前方法存在的局限性，例如遗漏合理回应和劳动密集型标注。他们还开发了INSETS，一个用于创建大型数据集（INSETS-462k）的管道，以及一个名为MVEI的基准，该基准涵盖了情感、情绪解读、场景语境和感知主观性。此外，他们构建了EmObserver，一个专门为面向情感的任务进行优化的MLLM。