SM4RT

SM4RT Transformer学习用于4D重建的结构化运动几何

研究人员开发了SM4RT，这是一种新颖的基于Transformer的模型，用于从单目RGB视频进行4D重建和结构化运动感知。与将运动视为独立逐点位移的先前方法不同，SM4RT利用了物理运动的几何结构，特别是由SE(3)控制的刚体变换。该模型将场景动力学分解为一组紧凑的运动基，使其能够在一次前向传播中联合推断3D几何、世界坐标运动和场景运动学结构。这种方法确保同一物体上的点共享相同的刚体运动轨迹，从而在保持几何完整性的同时提高运动重建性能。