Multi-Pair TSG

新的AI模型推动视频-文本时序定位

研究人员开发了新的时序句子定位（TSG）方法，该任务涉及根据文本查询在视频中定位特定时刻。其中一种方法是三分支压缩域时空融合（TCSF）框架，它直接处理压缩格式的视频，从I帧、运动矢量和残差数据中提取特征，以实现高效准确的定位。另一种方法是分层局部-全局Transformer（HLGT），通过建模局部上下文和全局相关性来解决视频帧和查询词的粒度问题。还引入了一种新颖的多对TSG设置，它联合训练多个视频-查询对，利用知识迁移网络和原型对…