OmniXRef

OmniXRef框架支持使用多样化参考进行多模态视频编辑

研究人员推出OmniXRef，一个专为多模态视频编辑设计的新型框架。该系统允许用户结合文本指令、图像外观和视频运动等各种参考，以精确控制视频属性。OmniXRef采用统一的输入设计，通过参考库接口和扩散Transformer模型来处理源视频以及来自大型语言模型的多模态上下文。为克服现有训练数据的局限性，利用合成管线和课程学习构建了新的数据集OmniXRef-Data，并开发了基准OmniXRef-Bench，用于系统评估基于视频的编辑控制。