3D-VAEs

VideoRAE 利用 VFM 特征改进视频生成

研究人员推出 VideoRAE，这是一种新颖的表示自编码器，旨在增强视频生成模型。该系统利用了 V-JEPA 2 和 VideoMAEv2 等冻结的视频基础模型 (VFM) 的特征，将它们压缩成适合生成任务的紧凑潜在表示。VideoRAE 同时支持用于扩散 Transformer 的连续潜在表示和用于自回归模型的离散标记，在 UCF-101 数据集上展示了最先进的性能，并且比现有方法收敛更快。