Video-Text Adherence

新的代理框架提高了图像到视频生成的可靠性

研究人员开发了一个名为“代理自我改进”的新框架，以增强图像到视频（I2V）生成模型的控制力和可靠性。该方法将视频合成重新定义为目标导向的优化过程，摆脱了低效的试错方法。该框架采用一个两阶段过程，包括使用多模态LLM进行提示优化和贝叶斯优化生成参数，并以视频-文本一致性等新颖指标为指导。人类研究表明，使用这种代理方法生成的视频更受欢迎，在基线输出上的胜率高达69%。