CogControlBench

新框架通过高级推理能力增强视频生成

研究人员开发了新的框架，通过整合高级推理能力来增强视频生成。MotiMotion 利用视觉语言模型预测合理的次级运动并根据置信度调整引导，从而优化运动控制。VChain 集成了来自多模态模型的视觉推理能力，以生成指导视频生成器的关键帧，从而改进复杂、多步骤场景的合成。CogOmniControl 专注于理解用户从抽象条件中提出的创意意图，并使用在专业数据上训练的专用模型来生成符合这些意图的视频。