研究人员推出OmniXRef,一个专为多模态视频编辑设计的新型框架。该系统允许用户结合文本指令、图像外观和视频运动等各种参考,以精确控制视频属性。OmniXRef采用统一的输入设计,通过参考库接口和扩散Transformer模型来处理源视频以及来自大型语言模型的多模态上下文。为克服现有训练数据的局限性,利用合成管线和课程学习构建了新的数据集OmniXRef-Data,并开发了基准OmniXRef-Bench,用于系统评估基于视频的编辑控制。 AI
影响 该框架通过实现更直观、更灵活的编辑流程,有望增强视频制作中的创意控制力。
排序理由 该条目描述了一篇介绍用于视频编辑的新型框架和模型的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- multimodal large language model
- OmniXRef
- OmniXRef-Bench
- OmniXRef-Data
- OmniXRef-Model
- R2-RoPE
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →