研究人员开发了Exo2EgoSyn,一个新颖的框架,可将WAN 2.2等基础视频生成模型适配用于外视角到内视角(Exo2Ego)的跨视角视频合成。该系统包含三个关键模块:用于对齐潜在空间的Ego-Exo View Alignment (EgoExo-Align),用于聚合多视角外视角视频的Multi-view Exocentric Video Conditioning (MultiExoCon),以及用于整合相对相机姿态信息的Pose-Aware Latent Injection (PoseInj)。这种方法无需重新训练基础模型,即可从第三人称观察生成高保真度的内视角视频,并在ExoEgo4D数据集上进行了演示。 AI
影响 通过允许在不重新训练的情况下进行跨视角合成,使基础模型具有更通用的视频生成能力。
排序理由 这是一篇研究论文,详细介绍了一种改编现有视频生成模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- EgoExo-Align
- Ego-Exo View Alignment
- Exo2EgoSyn
- ExoEgo4D
- Muhammad Mahdi
- MultiExoCon
- Multi-view Exocentric Video Conditioning
- Pose-Aware Latent Injection
- PoseInj
- WAN 2.2
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →