BiVidGen

MLLM-DiT融合通过语义视觉令牌增强视频生成

研究人员探索了通过整合多模态大语言模型（MLLMs）与扩散Transformer（DiTs）来增强视频生成的新颖方法。他们的研究集中于三个关键问题：MLLMs和DiTs之间的最佳中间表示，MLLMs应如何生成此表示，以及DiTs在视频渲染过程中如何有效地将其纳入。研究结果表明，由MLLM自回归生成并使用基于EMA的方法进行令牌化的离散语义视觉令牌，为视频生成提供了一个稳定且富有表现力的接口。