SDGAN

新的人工智能方法利用多模态大语言模型和图网络增强视频时序定位

研究人员为时序视频定位（TVG）任务开发了两个新框架，该任务专注于根据文本查询在视频中定位特定时刻。MASRA框架在训练期间利用多模态大语言模型（MLLM）生成文本先验，增强语义和关系对齐以提高时序一致性。同时，SDGAN框架采用图卷积网络（GCN）对时序关系进行建模，结合静态和动态视觉特征，并纳入查询感知学习以实现更精确的定位。