CAPE-T2V

新的CAPE-T2V框架增强文本到视频生成的对齐

研究人员推出CAPE-T2V，一个旨在通过解决训练字幕和推理时提示之间的不匹配来改进文本到视频生成的新框架。该系统首先微调一个提示增强器（PE），从源字幕生成各种目标提示。随后，它使用这些增强的字幕微调文本到视频扩散变换器（DiT），确保PE的输出与DiT的训练数据之间更好的对齐。这种方法在StoryEval和VBench 2.0等基准测试中提高了性能，并显示出“PE-字幕差距”的减小。