研究人员开发了用于视频帧插值(MGMVFI)的运动引导Mamba,这是一种新颖的选择性状态空间模型(SSM)的改编,旨在改进视频帧插值。MGMVFI利用运动引导序列化(MGS)为SSM创建运动自适应输入顺序,将状态更新与语义相关的标记对齐,以实现更一致的特征传播,尤其是在处理大运动或动态运动时。该模型还结合了上下文合成,利用周围空间上下文增强帧间特征合成,并采用轻量级细化块以降低计算成本实现细节重建。实验表明,MGMVFI在标准的视频帧插值基准测试中取得了最先进的性能,尤其是在处理复杂和动态运动序列方面。 AI
影响 引入了一种使用状态空间模型进行视频帧插值的新颖方法,有望提高在动态运动序列上的性能。
排序理由 介绍特定计算机视觉任务新模型架构和方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Mamba
- Motion-Guided Mamba for Video Frame Interpolation
- Motion-Guided Serialization
- State Space Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →