Global Motion Aligning Diffusion

HarmoHOI框架合成多视角手部-物体交互视频

研究人员推出HarmoHOI，一个新颖的扩散框架，旨在合成同步的多视角手部-物体交互（HOI）视频。该系统通过联合生成2D外观和全局对齐的3D运动轨迹，解决了复杂手部运动和遮挡的挑战。HarmoHOI利用混合多视角扩散Transformer来共同建模RGB视频和3D点轨迹，最小化领域差距并适应现有先验。它还整合了全局运动对齐扩散来优化3D轨迹，在视觉质量、运动合理性和几何一致性方面实现了最先进的性能。