LF-VideoQA

新数据集LF-VideoQA挑战AI模型进行长篇视频理解

研究人员推出了LF-VideoQA，这是一个旨在评估视觉-语言模型（VLMs）在叙事视频上的长篇理解能力的新数据集。该数据集侧重于心理理论问题，这些问题需要综合分布在长时间内的信息，平均每个问题时长为23分钟。对最先进VLMs的初步评估显示出显著的挑战，即使是oracle模型也未能给出完整答案，而当前的非oracle模型仅达到oracle模型一半的召回率。结果表明，视觉证据至关重要，召回率是这些模型的主要瓶颈。