Chenyangguang Zhang

新方法通过3D手部关节控制增强自我中心视频生成

研究人员开发了一种新的可控自我中心视频生成方法，专注于复杂的手-物体交互。该方法利用稀疏的3D手部关节作为显式控制信号，以克服现有方法在3D一致性和运动伪影方面的局限性，尤其是在遮挡期间。这项新技术结合了遮挡感知特征和3D几何嵌入，以确保结构一致性并改善运动传播。研究团队还创建了一个自动流水线，用于生成大量高质量的自我中心视频片段用于训练和评估，并在当前最先进的基线之上展示了卓越的性能。