新框架使用MLLM进行物理上可行的视频物体插入

研究人员开发了Place-it-R1，这是一个旨在通过整合多模态大语言模型（MLLM）的环境感知推理来改进视频物体插入的新框架。与可能产生视觉上合理但不切实际结果的传统扩散方法不同，这种方法确保插入的物体与场景在物理上是一致的。Place-it-R1将MLLM对物体-场景交互的分析转化为视频扩散模型的语义和空间指导，并利用空间直接偏好优化（Spatial Direct Preference Optimization）通过惩罚插入物体区域内的物理违规来优化插入过程。实验表明，Place-it-R1在生成连贯自然的视频插入方面优于当前最先进的方法，并可与商业系统相媲美。 AI

影响 该框架可以通过实现更真实、物理上一致的物体插入来增强视频编辑工具。

排序理由 该集群包含一篇研究论文，详细介绍了使用多模态大语言模型进行视频物体插入的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Bohai Sea
• CatalyzeX
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• multimodal large language model
• Place-it-R1
• ScienceCast
• Spatial Direct Preference Optimization
• video object insertion

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →