BiVidGen

MLLM 通过语义校正和视觉规划增强文本到视频生成

两篇新的研究论文探讨了通过整合多模态大语言模型（MLLM）和扩散模型来增强文本到视频生成。第一篇论文介绍了一个框架，该框架将 MLLM 反馈直接注入扩散采样循环中进行中间生成语义校正，在不改变模型参数的情况下提高对齐度和保真度。第二篇论文系统地研究了 MLLM 和扩散 Transformer（DiT）的融合，发现自回归生成且显式以 DiT 为条件的离散语义视觉标记比提示精炼更有效。这种称为 BiVidGen 的方法展示了改进的语义对齐…