DBL-Diffusion

新数据集和扩散模型推动视频层分解和插入

研究人员推出了 TriLayer，这是一个大规模数据集，旨在促进显式分层视频表示，用于视频对象插入和分解等任务。该数据集包含对齐的复合、背景和前景视频，使模型能够直接学习分层表示，克服了现有隐式推理方法的局限性。为了利用 TriLayer，研究团队开发了 DBL-Diffusion，这是一个双分支扩散框架，对 RGB 复合和 RGBA 前景层进行建模，在插入保真度和分解质量方面取得了显著改进。