DeforM-Injection

DeforM框架通过VLM引导的掩码增强了物理感知视频生成

研究人员推出了一种新颖的图像到视频生成框架DeforM，该框架专注于提高变形对象的物理真实性。该系统利用视觉语言模型（VLM）识别场景中的关键区域并生成时空掩码，从而将模型的注意力引向发生形变的区域。DeforM提供两种引导策略：用于无再训练分析的DeforM-Free和用于增强基于再训练生成的DeforM-Injection。实验表明，与现有方法相比，DeforM显著提高了生成视频的真实性和物理一致性。