VideoDetective

VideoDetective框架增强了MLLM对长视频的理解能力

研究人员推出了一种名为VideoDetective的新型框架，旨在增强多模态大语言模型（MLLMs）对长视频的理解能力。该方法通过整合基于查询的相关性和视频内在的结构关系，解决了上下文窗口有限的挑战。VideoDetective构建了一个视觉-时间亲和图，并采用假设-验证-精炼循环来识别关键视频片段，以实现准确的问题回答。实验表明，在VideoMME-long基准测试上，准确率显著提高了7.5%。