Video2Skill

新的基准 Video2Skill 测试从流媒体数据中发现 VLM 技能

研究人员推出了 Video2Skill，这是一个新的基准，旨在评估视觉语言模型 (VLM) 从流媒体视频数据中识别和组织可复用技能的能力。该基准测试了三个核心能力：时间事件定位、对相似变换进行分组以及决定是复用现有技能还是创建新技能。目前的 VLM 在这项任务上表现不佳，通常仅凭运气对事件进行分组，并且未能持续扩展其技能库，这凸显了具身人工智能发展中的一个重大瓶颈。