ActivityNet: A large-scale video benchmark for human activity understanding
PulseAugur coverage of ActivityNet: A large-scale video benchmark for human activity understanding — every cluster mentioning ActivityNet: A large-scale video benchmark for human activity understanding across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
VEDJE系统通过紧凑缓存实现高效视频-文本检索
研究人员开发了VEDJE，一种可扩展视频-文本检索的新型系统，可显著降低计算成本。VEDJE通过将视频特征压缩成紧凑、可重用的缓存来实现这一点，从而能够与新查询进行高效匹配。这种方法在MSR-VTT、MSVD、DiDeMo和ActivityNet等基准测试中提高了检索准确性，同时大幅缩小了每个视频的数据占用空间。
-
VEDJE编码器通过压缩特征提升视频-文本检索性能
研究人员开发了VEDJE，一种新颖的视频高效判别联合编码器（Video-Efficient Discriminative Joint Encoder），旨在提高视频-文本检索的可扩展性和效率。该方法将视频特征压缩成可重用缓存，显著降低了检索时的计算成本。通过在训练期间引入特征变化预测信号，VEDJE在不增加查询时工作量的情况下提高了检索准确性。该系统在MSR-VTT、MSVD、DiDeMo和ActivityNet等多个基准测试中表现强…
-
新数据集和模型推动文本到长视频检索能力发展
研究人员推出了MELON，这是一个专为多事件文本到长视频检索设计的新大规模数据集，解决了现有数据集主要关注具有单一事件的短片段的局限性。MELON标注了长视频中的多个事件间隔，使模型能够更好地理解复杂的多事件结构。同时，还提出了一个名为TAME的框架，通过将时间建模集成到基于CLIP的架构中来增强文本视频检索。TAME利用专家混合层和帧-时间标记来捕捉局部帧细节和长距离时间依赖性，在标准的检索基准上表现出改进的性能。
-
新的Event ActivityNet基准推动无修剪动作理解
研究人员推出了Event ActivityNet，这是一个旨在推动视频中无修剪动作理解领域发展的新基准。该数据集源自现有的ActivityNet视频，包含3200多个视频，内容超过100小时。Event ActivityNet支持多种任务，包括动作识别、事件-语言对齐和时间动作定位，并为这些任务建立了新的基线性能指标。
-
新的PHA-Net通过原型对齐改进文本-视频检索
研究人员开发了PHA-Net，一种用于文本-视频检索的新型网络，它利用共享原型来有效地对齐跨模态表示。该方法通过增强具有强语义的token并抑制较弱的token来解决文本和视频之间的语义不匹配问题。PHA-Net在多个基准测试中表现出显著的改进，包括MSR-VTT、ActivityNet、VATEX和Charades。
-
MLLMs 在多视频摘要中表现出位置偏差
研究人员在多模态大语言模型（MLLMs）对多个视频进行摘要时，发现存在位置偏差。这种偏差意味着摘要的质量可能取决于视频呈现给模型的顺序。研究人员使用 ActivityNet 和 News 视频创建了一个新的基准，以测试九种不同 MLLMs 的这种效应，结果显示偏差受到视频领域和所用模型的具体影响。研究表明，当前的多视频摘要系统对输入顺序敏感，突显了对更鲁棒、顺序无关的多模态系统的需求。