研究人员推出了一种新颖的视频时间定位(VTG)方法IAE-VTG,该方法专门处理涉及实体执行动作的查询。与以往整体处理查询的方法不同,IAE-VTG将查询中的动作和实体信息解耦,以更好地与互补的视频特征对齐。这是通过细粒度解耦交互模块(FDIM)和交互敏感分配(ISA)训练策略实现的,该策略通过考虑时间重叠和语义兼容性来提高时间定位的准确性。在QVHighlights、Charades-STA和TACoS等基准数据集上的实验表明,IAE-VTG改进了现有基线,并在复杂事件(具有重复动作或实体)上取得了有竞争力或最先进的结果。 AI
影响 通过提高复杂动作-实体查询的时间定位准确性来增强视频理解能力。
排序理由 介绍一种新的视频时间定位方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Charades-STA
- FDIM
- Fine-grained Disentangled Interaction Module
- IAE-VTG
- Interaction-Sensitive Assignment
- Isa
- QVHighlights
- taco
- Video Temporal Grounding
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →