研究人员推出了一种新颖的交互式视频生成系统4DStreamCtrl,该系统允许对摄像机运动和对象轨迹进行实时、3D一致的控制。与之前分别处理或离线处理这些方面的方法不同,4DStreamCtrl将摄像机运动、对象路径和深度统一为单一的3D点轨迹表示。这种方法可以在单次前向传播中实现联合控制和深度编辑,在生成480p视频时速度可达20 FPS。该系统还展示了跨越数百帧的时间一致性,为具身智能体的交互式世界模型和实时视觉想象铺平了道路。 AI
影响 为具身智能体实现交互式世界模型和实时视觉想象。
排序理由 研究论文,详细介绍了一种新的视频生成方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →