SM4RT Transformer学习用于4D重建的结构化运动几何

研究人员开发了SM4RT，这是一种新颖的基于Transformer的模型，用于从单目RGB视频进行4D重建和结构化运动感知。与将运动视为独立逐点位移的先前方法不同，SM4RT利用了物理运动的几何结构，特别是由SE(3)控制的刚体变换。该模型将场景动力学分解为一组紧凑的运动基，使其能够在一次前向传播中联合推断3D几何、世界坐标运动和场景运动学结构。这种方法确保同一物体上的点共享相同的刚体运动轨迹，从而在保持几何完整性的同时提高运动重建性能。 AI

影响 通过整合物理运动几何，引入了一种新颖的4D重建方法，有望提高动态场景理解的准确性。

排序理由 详细介绍新模型和方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast
• SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks
• SM4RT
• Structure of motion near saddle points and chaotic transport in hamiltonian systems
• Transformer++

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →