Action Genome
PulseAugur coverage of Action Genome — every cluster mentioning Action Genome across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的RTAformer模型通过跟踪关系变化改进视频场景图生成
研究人员开发了RTAformer，一个新颖的基于Transformer的框架，旨在改进视频场景图生成。该新模型专门解决了“关系语义惯性”的挑战，即现有方法难以检测视频中物体关系中的突然变化。RTAformer通过分别建模实体持久性和关系转换来实现这一点，使用相邻帧关系查询之间的校准差异来指导谓词更新。在Action Genome数据集上的实验表明，RTAformer在召回率指标上优于先前的方法，尤其是在显示关系转换的帧上。
-
新框架实现开放词汇动态场景图生成
研究人员推出了一种新颖的端到端开放词汇动态场景图生成框架 OvDSGG。该系统通过识别固定训练词汇之外的对象和谓词，解决了现有闭集方法的局限性。OvDSGG 利用开放词汇空间骨干网络和时间骨干网络，并由三元组特征提取模块和视觉-语言对齐模块增强，无需昂贵的知识蒸馏即可实现自适应决策边界。一个新的基准（改编自 Action Genome，具有不相交的基础/新颖分割）证明了 OvDSGG 在现有开放词汇基线上的优越性能。
-
新的DSGG方法利用MLLMs，改进评估指标
研究人员提出了一种利用多模态大语言模型（MLLMs）的动态场景图生成（DSGG）新方法。该研究指出了当前评估协议的局限性，例如精度-召回率权衡和信息量不足的关系生成，并引入了五个新指标以进行更全面的评估。提出的模型设计将自下而上的流程转变为自上而下的推理后定位策略，将逐帧动态图重构为时间关系集预测，并结合了重要性感知微调（IAF），以实现更相关和更多样化的关系生成。在Action Genome、VidVRD和PVSG数据集上的实验证明…