ClimateVID

研究人员评估VLMs和聚类技术在社交媒体气候变化视频分析中的应用

研究人员开发了ClimateVID，这是一个用于分析气候变化相关社交媒体视频的新数据集和方法论。该研究评估了VideoChatGPT、PandaGPT和VideoLLava等各种视觉语言模型（VLMs）的零样本能力，发现它们目前难以检测气候特定类别。然而，使用ConvNeXt V2和DINOv2等图像嵌入模型的无监督聚类技术成功地识别了视频数据中有意义的视觉模式。