Runze Xu

新框架使用未标记的人类视频训练AI动作模型

研究人员开发了一个新框架，使用未标记的人类视频训练视觉-语言-动作（VLA）模型。该系统名为运动聚焦潜在动作（Motion-Focused Latent Action），采用混合解耦VQ-VAE将运动动力学与背景元素分离，创建了一个通用动作先验的码本。这种预训练方法使VLA模型能够从现成的人类视频中学习动作意图，大大减少了下游适应所需的广泛标注机器人数据集。