DeforM-Reason

DeforM 框架通过推理引导的掩码增强了物理感知视频生成

研究人员推出了一种新颖的框架 DeforM，用于生成物理感知视频，专门解决合成复杂变形的挑战。该系统采用 VLM 引导模块 DeforM-Reason 来识别关键区域并生成时空掩码。DeforM 提供了两种策略：用于无训练分析的 DeforM-Free 和用于基于训练的生成的 DeforM-Injection，两者都与现有模型相比，在真实感和物理一致性方面均有所提高。