ShotFinder

新的ShotFinder基准揭示多模态大语言模型难以进行视频编辑

研究人员推出了ShotFinder，这是一个旨在评估大型语言模型开放域视频片段检索能力的新基准。该基准将编辑需求形式化为面向关键帧的片段描述，并包含五种可控约束：时间顺序、颜色、视觉风格、音频和分辨率。从YouTube收集了1,210个样本的数据集，并提出了一个三阶段检索和定位流程。实验表明，当前模型与人类能力之间存在显著的性能差距，其中颜色和视觉风格对多模态大型模型构成了最大的挑战。