EgoX

EgoXperience框架使用新的标注引擎重建自我中心视频

研究人员推出EgoXperience，一个新颖的框架，旨在通过联合建模相机运动、场景几何、手部和物体来重建自我中心视频。该系统利用一个名为EgoX-Engine的自动标注引擎，它将物体跟踪与基于SLAM的世界对齐相结合，以生成一致的监督。该框架包括EgoX-Data-6M，一个50小时的数据集，以及用于评估的EgoX-Bench，EgoX模型在度量重建和手部-物体姿态恢复方面展示了最先进的性能。