Hybrid Disentangled VQ-VAE

新框架在无标签人类视频上训练视频语言动作模型

研究人员开发了一个新框架，使用无标签的以自我为中心的人类视频来训练视频语言动作（VLA）模型。该系统采用混合解耦VQ-VAE将运动动力学与背景分离，创建了一个跨具身动作代码本。这种预训练使视频语言模型（VLM）骨干能够学习动作意图，而意图感知解耦策略通过将动作意图与特定状态的视觉特征分离来进一步优化预测。该方法在需要最少下游适应的情况下，与在大量标注数据集上训练的最先进VLA模型相比，表现具有竞争力。