研究人员推出了一种新颖的GCR框架,旨在通过在有限预算内优化相关帧的选择来改进长视频问答。这种无需训练的方法通过防止帧聚类并增强文本和视觉证据之间的对齐来解决现有方法的局限性。GCR通过三个阶段的过程实现这一目标:Ground(定位)、Cover(覆盖)和Refine(精炼),通过选择与查询相关的锚点、用互补的视觉信息对其进行补充,并重新审视被遗漏的区域以获取潜在的更大价值来共同策划证据。在LongVideoBench和Video-MME等基准测试上的实验表明,在各种骨干网络和帧预算下均取得了持续的改进。 AI
影响 该框架可以提高处理长视频内容的AI系统的效率和准确性。
排序理由 该集群包含一篇详细介绍视频问答新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →