TraceExtract

新的3D轨迹世界模型增强了可扩展的机器人学习

研究人员开发了$\mu_0$，一种新颖的机器人世界模型，它利用3D交互轨迹来预测显著物体和点的运动。这种方法绕过了对特定于具身行为的动作标签的需求，从而实现了更具可扩展性的机器人学习。该系统借助TraceExtract工具自动提取3D监督信息，并使用模块化轨迹专家预训练视觉语言骨干网络。实验表明，$\mu_0$的表现优于现有的轨迹预测模型和标记化VLM方法，确立了3D轨迹作为可转移的操纵任务表示。