3D foundation model

MVHOI框架使用3D基础模型进行复杂人-物交互视频重演

研究人员开发了MVHOI，一个新颖的两阶段框架，用于复杂的人-物交互（HOI）视频重演。该系统通过利用3D基础模型，将多视角条件桥接到复杂的HOI场景。该框架首先提取隐式运动动力学，并使用运动驱动对象先验模块从多视角参考中预测对象的方向和外观。随后，一个基于Diffusion Transformer的视频生成模型利用这些预测进行逼真的视频合成，在对象保真度和交互真实性方面优于现有方法。