GroundFormer

GroundFormer 架构通过整合问题意图来改进视频问答

研究人员开发了 GroundFormer，这是一种新颖的架构，旨在通过解决问题不变性 grounding 问题来改进基于视频的问答。当模型为同一视频的不同问题选择相似的时间段时，就会出现此问题。GroundFormer 在早期阶段通过可学习的通信令牌进行有向的视觉-语言交互，将问题语义与视频特征相结合。该模型还采用因子化 MIL 交叉注意力机制和分层多模态对比损失来提高时间 grounding 和答案选择的准确性。