Dual-Scale Temporal Encoder

DUGO框架增强了单目视频中的在线动作定位

研究人员推出了一种新颖的单目视频在线时序动作定位框架DUGO。DUGO通过联合建模局部运动动力学和长程时序依赖性来解决现有方法的局限性。它采用双尺度时序编码器来处理细粒度模式和更广泛的上下文，并结合高斯记忆库，将动作记忆表示为随机高斯原型，以实现更丰富的时序回忆。在EGTEA和EPIC-Kitchens-100等数据集上的实验表明，DUGO取得了最先进的性能。