RECAP-Forcing

新的RECAP-Forcing方法通过追踪内容新颖性来改进长视频生成

研究人员推出了一种新颖的长视频生成方法RECAP-Forcing，它解决了自回归模型固有的内存挑战。RECAP-Forcing不优先考虑最近的帧，而是根据内容出现的新颖性来组织内存，保留新主题、对象和场景引入时的信息。这种方法通过使内存结构按外观索引，并根据新内容而非视频长度进行扩展，从而确保了长距离的一致性。该方法无需额外训练或参数，已在各种基线上展示出视觉质量和语义保真度的一致性改进，优于现有的内存技术。