Temporal Difference in Vision

新的 TDV 范式在没有强归纳偏差的情况下学习视觉表示

研究人员推出了视频中的时间差 (TDV)，这是一种新颖的视频自监督学习范式，可最大限度地减少对强归纳偏差的依赖。与通常使用增强、掩码或裁剪的现有方法不同，TDV 基于过去影响未来的因果假设。该系统联合训练图像和运动编码器，根据当前帧和编码的运动来预测下一帧的表示。实验表明，TDV 在没有这些传统偏差的情况下，在密集空间任务上取得了最先进的性能，这表明了一条通往假设更少的表示学习的道路。