No-False-Positives (NFP) test

新测试验证视频Transformer中的时间概念编码

研究人员开发了一种名为无虚报（NFP）测试的新统计测试，用于识别视频模型中真正编码时间概念（如物体运动）而非仅仅空间存在的特征。该测试应用于VideoMAE、V-JEPA2和TimeSformer，证实了它们各自存在时间特征。NFP测试使用DINOv2等图像编码器和合成表示空间进行了验证，证明了其在检测时间信息方面的特异性和准确性。对已识别时间特征的干预措施在不同模型中产生了不同的结果，表明其影响可能无法持续优于非时间特征基线。