Temporal Backbone

新框架实现开放词汇动态场景图生成

研究人员推出了一种新颖的端到端开放词汇动态场景图生成框架 OvDSGG。该系统通过识别固定训练词汇之外的对象和谓词，解决了现有闭集方法的局限性。OvDSGG 利用开放词汇空间骨干网络和时间骨干网络，并由三元组特征提取模块和视觉-语言对齐模块增强，无需昂贵的知识蒸馏即可实现自适应决策边界。一个新的基准（改编自 Action Genome，具有不相交的基础/新颖分割）证明了 OvDSGG 在现有开放词汇基线上的优越性能。