RTAformer

新的RTAformer模型通过跟踪关系变化改进视频场景图生成

研究人员开发了RTAformer，一个新颖的基于Transformer的框架，旨在改进视频场景图生成。该新模型专门解决了“关系语义惯性”的挑战，即现有方法难以检测视频中物体关系中的突然变化。RTAformer通过分别建模实体持久性和关系转换来实现这一点，使用相邻帧关系查询之间的校准差异来指导谓词更新。在Action Genome数据集上的实验表明，RTAformer在召回率指标上优于先前的方法，尤其是在显示关系转换的帧上。