Action selection

新的CATE概念探索视频中动作与效果的视觉联系

研究人员引入了一个名为“视觉连接动作及其效果”（CATE）的新概念，用于视频理解。CATE探索两个方面：动作选择（AS）和效果亲和度评估（EAA），旨在语义和细粒度层面连接动作与其结果。当前模型在此任务上表现不佳，显著落后于人类，尽管它们可以在没有明确监督的情况下学习物体跟踪等直观属性。研究表明，CATE可以作为一种有效的自监督任务，用于从无标签视频中学习视频表示。