Chain of Temporal Reasoning

FrameForge模型利用视频先验进行统一图像生成

研究人员推出了一种新颖的统一条件图像生成方法FrameForge，该方法利用了视频基础模型的时间理解能力。与以往将条件固定在特定时间位置的方法不同，FrameForge根据生成任务动态调整时间关系。它采用混合专家模型（MoTE）来选择合适的虚拟时间间隔，并使用时间推理链（CoTR）来模拟通过潜在状态的转换。在DreamBench和COCO2017等基准测试上的实验表明，FrameForge在主题驱动生成和图像编辑等任务中非常有效。