Spatio-Temporal Video Grounding
PulseAugur coverage of Spatio-Temporal Video Grounding — every cluster mentioning Spatio-Temporal Video Grounding across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Pocket-STVG 提供高效的时空视频精确定位
研究人员开发了 Pocket-STVG (P-STVG)，一种专为时空视频精确定位 (STVG) 设计的新型轻量级架构。该系统旨在准确地在视频中定位与自然语言查询相对应的时空区域。P-STVG 通过高效地组合预训练组件来实现这一点，包括基于 MobileViCLIP 的时域感知视频编码器和源自 MDETR 的空间编码器-解码器，而不是依赖大型的端到端模型。该架构的参数少于 9000 万个，并提供了有利的性能-效率权衡，其性能与现有的弱…
-
新的并行管解码方法可大幅缩短视频定位延迟
研究人员开发了一种名为并行管解码（PTD）的新方法，以提高时空视频定位的效率和准确性。该技术消除了自回归依赖，通过允许同时进行空间和时间定位，显著降低了延迟。PTD将定位过程分解为时间块和时间条件空间块，这些块被并行解码。该方法还引入了解耦块注意力，以在消除跨框依赖的同时保持上下文。实验表明，PTD在延迟方面取得了显著降低，吞吐量有所提高，并且还展示了对相关视频理解任务的泛化能力。
-
ScanFocus框架通过粗粒度到细粒度方法增强视频定位
研究人员推出ScanFocus，一个旨在改进时空视频定位（STVG）的新框架。该方法解决了在视频中平衡全局上下文与精确对象定位的挑战，而当前方法由于计算成本和时间下采样常常难以应对。ScanFocus采用粗粒度到细粒度策略，首先进行全局扫描生成初始提案，然后通过语义引导时间聚合器（SGTA）进行细化，以捕捉细粒度细节和快速运动变化，从而实现精确的时间戳回归。在多个基准测试上的实验表明，ScanFocus的性能优于现有方法。
-
新研究解决了长视频中的时空视频基础问题
两篇新研究论文探讨了时空视频基础的进展，这是一种根据自然语言查询精确地在长视频中定位对象的技术。第一篇论文介绍了一个将帧级跟踪转变为秒级跟踪的流水线，并使用强化学习来改进推理和定位。第二篇论文提出了一种自回归Transformer架构，该架构通过顺序处理、整合记忆库和采用级联时空定位方法来应对长视频的挑战。
-
新微调方法为视频接地保留知识
研究人员开发了一种名为Null-Space Tuning (NST)的新方法，以改进时空视频接地模型。该技术解决了在不破坏现有知识的情况下，将预训练模型适应低质量视频输入的问题。NST通过向输入特征注入可学习的残差来实现这一点，这些残差对模型的冻结骨干网络选择性地不可见，从而在纠正退化输入的同时保留预训练知识。