研究人员推出 VideoRAE，这是一种新颖的表示自编码器，旨在增强视频生成模型。该系统利用了 V-JEPA 2 和 VideoMAEv2 等冻结的视频基础模型 (VFM) 的特征，将它们压缩成适合生成任务的紧凑潜在表示。VideoRAE 同时支持用于扩散 Transformer 的连续潜在表示和用于自回归模型的离散标记，在 UCF-101 数据集上展示了最先进的性能，并且比现有方法收敛更快。 AI
影响 通过提供更高效、语义更丰富的潜在表示来增强视频生成能力。
排序理由 该集群包含一篇详细介绍视频生成模型新方法的论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.14088v1 Announce Type: new Abstract: Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temp…
Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temporal structure captured by their latents. Meanwh…