Human Emotions

视觉语言模型因数据偏见和时间限制而在情感识别方面遇到困难

一篇新论文探讨了尽管人工智能取得了进展，视觉语言模型（VLM）为何在识别人类情感方面遇到困难。研究确定了两个关键的脆弱点：情感数据集的长尾特性，VLM通过将稀有情感归入常见类别来加剧这一问题；以及模型因上下文大小限制而无法处理密集帧序列中的时间信息。为解决这些问题，该论文提出了替代采样策略和一种多阶段上下文丰富方法，该方法将中间帧转换为自然语言摘要，以保留情感轨迹。