M4V

M4V 框架使用 Mamba 架构实现高效文本到视频生成

研究人员推出 M4V，一个新颖的多模态 Mamba 框架，用于高效的文本到视频生成。该框架采用多模态扩散 Mamba (MM-DiM) 块，集成了多模态信息和时空建模。M4V 采用双向方案进行多模态令牌集成和视觉寄存器，以增强时空一致性，与基于注意力的方法相比，高分辨率视频生成所需的 FLOPs 减少了 45%。大量实验表明，M4V 以显著降低的计算成本生成高质量视频。