PhysMV

OrthoPhys框架使用正交视图生成物理上合理的视频

研究人员开发了OrthoPhys，一个旨在生成更具物理合理性的新颖两阶段框架。该系统首先从四个正交视角创建同步视频，使用增强几何的注意力机制来确保3D空间一致性，并将运动隐含地基于物理属性。然后，这些一致的正交视图指导最终视频的合成，将前景动态与背景上下文相结合。创建了一个包含40,000个场景（每个场景有四个正交视角）的新数据集PhysMV，以支持这种训练范式。