VidEdit3D

新框架利用图像编辑来指导视频扩散模型

研究人员开发了两个新框架 EditDistill 和 VidEdit3D，通过利用图像编辑技术和视频扩散模型来增强视频编辑能力。EditDistill 从图像编辑中提取视觉变换来指导视频扩散模型，使用特定的损失函数来保持时间一致性和结构。VidEdit3D 将 3D 场景编辑重新构建为视频编辑任务，利用视频扩散模型来实现跨视图的语义和结构一致性，并采用区域选择性细化来精确控制编辑。