Toyota-Smarthome

HuC-VideoMAE 使用合成数据进行以人为本的视频预训练

研究人员开发了 HuC-VideoMAE，一种使用合成人类运动数据预训练视频 Transformer 的新方法。该方法通过采用以人为本的掩码策略，专注于身体关键点和边界框区域，解决了使用真实世界视频相关的伦理问题。实验表明，与在真实数据集上进行的传统 VideoMAE 预训练相比，HuC-VideoMAE 显著缩小了性能差距，为动作识别模型提供了一种有前景的伦理替代方案。