Wenzhang Sun

MotionStrata论文提出用于视频自动编码的层级运动潜在表示

研究人员提出了一种新颖的视频自动编码方法MotionStrata，该方法将运动信息进行层级组织。该方法将广泛的场景演变分离为“全局运动”，并将细粒度的、帧特定的细节分离为“详细运动”。通过采用频率引导路由和粗到精的训练策略，MotionStrata即使在高度压缩下也能实现高质量重建，优于现有的统一和分组表示。该研究还探讨了这种层级组织对下游生成任务和解码效率的好处。