VisPhyWorld

新框架通过高级推理增强视频生成能力

研究人员开发了新的框架，通过整合高级推理能力来增强视频生成。MotiMotion 利用视觉-语言模型预测合理的次要运动并根据置信度调整引导，从而优化运动控制。VChain 集成了来自多模态模型的视觉推理，以生成指导视频生成器的关键帧，从而改进复杂、多步场景的合成。CogOmniControl 专注于理解用户从抽象条件中产生的创意意图，使用在专业数据上训练的专用模型来生成符合这些意图的视频。