Split-then-Merge (StM)

Split-then-Merge 框架增强生成式视频合成

研究人员推出了一种新的生成式视频合成框架 Split-then-Merge (StM)，该框架通过从无标签视频中学习来解决数据稀缺问题。StM 动态地将现有视频中的前景和背景层分离，然后进行自合成以学习逼真的主体-场景交互。该框架包含一个具有多层融合和增强的变换感知训练管道，以及一个用于保持前景质量的身份保持损失。实验表明，StM 在定量和定性评估中均优于当前最先进的方法。