Mingzhi Sheng

FlexAM框架解耦视频生成的视觉和运动信息

研究人员推出FlexAM，一个旨在通过解耦视觉和运动来增强视频生成控制的新框架。该方法利用一种新颖的3D控制信号，表示为点云，并结合了多频位置编码、深度感知编码和灵活的控制机制。FlexAM旨在为视频生成任务提供更强大、更可扩展的方法，包括图像到视频和视频到视频编辑、相机控制和空间对象编辑。实验表明，FlexAM在这些多样化应用中的表现优于现有方法。