latent mask encoder

InverseCrafter框架可在无需VDM微调的情况下实现高效视频重捕获

研究人员推出了一种新颖的框架InverseCrafter，用于在无需对预训练视频扩散模型（VDM）进行大量微调的情况下生成视频的新视角。该方法将视频重捕获视为潜在空间中的逆问题，利用轻量级的潜在掩码编码器来避免计算成本高昂的训练和灾难性遗忘问题。InverseCrafter通过以最小的额外推理成本保留原始VDM的生成能力，实现了高效、高保真的视频修复和编辑。