OnlyAct

新方法从基础模型中提取动作表征用于世界模型

研究人员开发了一种名为OnlyAct的新方法，用于从基础模型中提取动作表征以用于世界模型。该方法利用了V-JEPA 2基础模型，该模型通过大规模视频预训练已包含大量动作信息。OnlyAct使用无标签的对比适应框架将动作信息与场景细节分离开来，从而提高了泛化能力和表达能力。该方法已在多个基准测试中得到评估，与现有的无标注方法相比，在动作表征和将演示动作迁移到新场景方面表现更优。