EgoHSI3R

新框架从第一人称视角视频中重建4D手部-场景交互

研究人员开发了EgoHSI3R，一个用于从第一人称视角视频中重建4D手部-场景交互的新型框架。该系统在共享的3D世界空间中统一了相机运动、场景几何和手部姿态的估计。通过将手部先验知识与局部场景上下文相结合，并使用MANO顶点查询，EgoHSI3R可以预测密集的每顶点接触，在ARCTIC数据集上手部关节误差方面取得了最先进的结果，同时保持了具有竞争力的场景重建精度。