EgoM2P

EgoM2P框架推动了以自我为中心的多模态理解

研究人员推出了一种新颖的预训练框架EgoM2P，专为以自我为中心的多模态理解而设计。该系统通过采用高效的时间分词器和掩码建模方法，解决了处理异构以自我为中心数据（如RGB视频、深度和注视）的挑战。EgoM2P支持多种任务，包括注视预测、以自我为中心相机跟踪和单目深度估计，同时还能作为以自我为中心视频合成的生成模型。据报道，该框架在性能上能媲美或超越专用模型，同时速度显著更快，并将开源。