VIPER-19K

VIPER框架使用MLLM改进视频生成中的物理效果

研究人员推出VIPER框架，旨在提高生成视频的物理可信度。VIPER利用多模态大语言模型（MLLM）从参考视频中提取与物理相关的线索，然后指导标准的图像到视频生成器。这种方法可以在不需要复杂文本提示的情况下，将材料响应和运动轨迹等物理行为迁移到新场景中。为此，创建了一个名为VIPER-19K的新数据集，其中包含材料属性、轨迹和物理碰撞的标注。