EE4D-JSM

新的RESELF框架统一了第一人称视角视频的3D场景和运动估计

研究人员开发了RESELF，一个用于从第一人称视角视频进行3D感知的新框架，该框架可同时重建周围场景并估计佩戴者的全身运动。与以往分别处理这些任务的方法不同，RESELF通过调整一个几何基础模型以适应第一人称视角数据来统一它们。该方法使用逐帧一致性目标来条件化用于运动生成的扩散模型，并通过一个反馈阶段来优化相机姿态，同时保留场景几何。与现有的最先进方法相比，该框架在深度估计、相机跟踪和全身运动估计方面表现出卓越的性能。