研究人员开发了 GroundFormer，这是一种新颖的架构，旨在通过解决问题不变性 grounding 问题来改进基于视频的问答。当模型为同一视频的不同问题选择相似的时间段时，就会出现此问题。GroundFormer 在早期阶段通过可学习的通信令牌进行有向的视觉-语言交互，将问题语义与视频特征相结合。该模型还采用因子化 MIL 交叉注意力机制和分层多模态对比损失来提高时间 grounding 和答案选择的准确性。 AI
影响 这项研究可能带来更准确、更具上下文感知的视频分析系统，从而改进那些依赖于理解视频内容以响应特定查询的应用。
排序理由 该集群包含一篇学术论文，详细介绍了一种用于特定 AI 任务的新模型架构。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
