FrameScout

FrameScout 提升 AI 对长视频的理解能力

研究人员开发了 FrameScout，一个旨在通过 AI 模型提升长视频理解能力的新颖系统。当前的 VideoLLMs 在处理长视频中海量的视觉数据时面临困难，导致处理能力受限。FrameScout 通过采用流式选择器架构来生成时间上下文相关的帧嵌入，并使用对比目标直接训练模型识别查询相关帧来解决这一问题。实验表明，FrameScout 在多个基准测试和基础 VideoLLMs 上取得了最先进的性能。