AVA-Actions

新的GHADAR任务和VLM方法推进视频人物分析

研究人员引入了一个名为具身人类归因描述与活动识别（GHADAR）的新任务，用于分析视频。该任务要求为视频中的每个人生成描述，包括他们的特征和活动，以及他们的位置。为了支持这一点，创建了一个新的数据集，该数据集源自AVA-Actions，并包含用于人物描述和活动的开放集字幕。还提出了一种新颖的方法，在训练期间约束视觉语言模型（VLM）中的交叉注意力掩码以提高性能。该研究还强调了当前评估指标的局限性，并提出了一个新的基于VLM的评估方案。