研究人员推出 M4V，一个新颖的多模态 Mamba 框架，用于高效的文本到视频生成。该框架采用多模态扩散 Mamba (MM-DiM) 块，集成了多模态信息和时空建模。M4V 采用双向方案进行多模态令牌集成和视觉寄存器，以增强时空一致性，与基于注意力的方法相比，高分辨率视频生成所需的 FLOPs 减少了 45%。大量实验表明，M4V 以显著降低的计算成本生成高质量视频。 AI
影响 这项研究提供了一种计算效率更高的方法来进行文本到视频生成，有望降低创建高质量视频内容的门槛。
排序理由 该集群描述了一篇关于文本到视频生成新颖框架的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
