Factor-Aware Predictive Learning

Factor-Aware Predictive Learning 增强了具有 MLLM 的电影视频生成

研究人员开发了 Factor-Aware Predictive Learning (FAPL)，这是一种利用多模态大语言模型 (MLLM) 增强电影视频生成的新颖方法。FAPL 训练视频扩散 Transformer，以更好地利用 MLLM 的表征进行稀疏时间推理和对角色、场景等元素的因子感知控制。该方法涉及分阶段的接地、优化和特定的训练信号，以提高模型从有限输入生成视频和通过精确因子控制编辑视频的能力，在各种电影视频生成任务上表现出卓越的性能。