研究人员开发了RTAformer,一个新颖的基于Transformer的框架,旨在改进视频场景图生成。该新模型专门解决了“关系语义惯性”的挑战,即现有方法难以检测视频中物体关系中的突然变化。RTAformer通过分别建模实体持久性和关系转换来实现这一点,使用相邻帧关系查询之间的校准差异来指导谓词更新。在Action Genome数据集上的实验表明,RTAformer在召回率指标上优于先前的方法,尤其是在显示关系转换的帧上。 AI
影响 这项研究可能通过更好地捕捉物体之间动态关系,从而实现更准确的视频分析。
排序理由 发布了一篇详细介绍新模型的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →