Meaningful moments

新语料库使用VLM识别视频中的关键时刻以进行动作识别

研究人员开发了一个名为Meaningful Moments的新语料库，该语料库使用视觉语言模型（VLM）来识别和标记视频中时间上重要的片段。该语料库包含来自Something-Something V2、Kinetics-400和Diving-48等数据集的近50万个视频的约458万个重要性分数。研究表明，这些VLM派生的重要性标签可以通过更有效地采样相关视频内容来改进视频动作识别，尤其是在具有明显动作结构的数据集上。