研究人员开发了SparseCtrl-HOI，一个用于生成人与物体交互视频的新框架，它显著减少了对密集时序引导的需求。该方法仅使用少量关键帧来控制交互过程，降低了标注成本并增加了运动多样性。该框架包含一个时间控制旋转位置嵌入（TiRoPE）用于时序锚定，以及一个利用多模态大语言模型（MLLMs）生成关键帧之间合理过渡的运动先验注入模块。此外，还创建了一个名为SparseHOI-5K的新数据集来支持这种稀疏时序控制方法，在为直播电商等应用合成视频方面取得了优越的结果。 AI
影响 这项研究可能能够更高效、更多样化地生成人与物体交互视频，从而改善AI驱动的电子商务和虚拟试穿等应用。
排序理由 该集群描述了一篇详细介绍新颖框架和数据集的视频生成研究论文。
- arXiv
- MLLMs
- Multimodal Large Language Models
- SparseCtrl-HOI
- SparseHOI-5K
- Motion Prior Injection Module
- Time-Controlled Rotary Positional Embedding
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
