Ground, Cover, and Refine

新的GCR框架通过优化帧选择来增强长视频问答

研究人员推出了一种新颖的GCR框架，旨在通过在有限预算内优化相关帧的选择来改进长视频问答。这种无需训练的方法通过防止帧聚类并增强文本和视觉证据之间的对齐来解决现有方法的局限性。GCR通过三个阶段的过程实现这一目标：Ground（定位）、Cover（覆盖）和Refine（精炼），通过选择与查询相关的锚点、用互补的视觉信息对其进行补充，并重新审视被遗漏的区域以获取潜在的更大价值来共同策划证据。在LongVideoBench和Video-M…