Mantas Skackauskas

新的 TIME 嵌入通过运动学习视频，减少训练数据需求

研究人员开发了一种名为 TIME（Temporally Informed Motion Embedding，时间感知运动嵌入）的新方法，该方法利用运动进行高效的视频表示学习。该方法使用在合成运动数据（特别是点轨迹）上训练的掩码自动编码器来重建缺失的运动。通过专注于运动，TIME 显著减少了对海量训练数据集的需求，并绕过了依赖语言的范式，从而实现了更好的时间理解和细粒度概念学习。