OpenVidHD-Motion3D

4DStreamCtrl 实现交互式4D可控流式视频生成

研究人员推出了一种新颖的交互式视频生成系统4DStreamCtrl，该系统允许对摄像机运动和对象轨迹进行实时、3D一致的控制。与之前分别处理或离线处理这些方面的方法不同，4DStreamCtrl将摄像机运动、对象路径和深度统一为单一的3D点轨迹表示。这种方法可以在单次前向传播中实现联合控制和深度编辑，在生成480p视频时速度可达20 FPS。该系统还展示了跨越数百帧的时间一致性，为具身智能体的交互式世界模型和实时视觉想象铺平了道路。