研究人员引入了一个名为具身人类归因描述与活动识别(GHADAR)的新任务,用于分析视频。该任务要求为视频中的每个人生成描述,包括他们的特征和活动,以及他们的位置。为了支持这一点,创建了一个新的数据集,该数据集源自AVA-Actions,并包含用于人物描述和活动的开放集字幕。还提出了一种新颖的方法,在训练期间约束视觉语言模型(VLM)中的交叉注意力掩码以提高性能。该研究还强调了当前评估指标的局限性,并提出了一个新的基于VLM的评估方案。 AI
影响 为详细的视频人物分析建立了一个新的基准和方法论,有可能改进监控和内容审核等应用。
排序理由 该集群包含一篇详细介绍视频分析新任务、数据集和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- AVA-Actions
- CatalyzeX
- DagsHub
- GHADAR
- Gotit.pub
- Hugging Face
- ScienceCast
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →