embodied cognition

新框架利用合成世界训练机器人实现具身认知

研究人员开发了一个概念框架，用于训练视觉语言模型（VLMs）以增强机器人的具身认知，特别是视觉视角采择（VPT）。为了实现这一点，他们在 NVIDIA Omniverse 中生成了一个合成数据集，其中包含 RGB 图像、自然语言描述和物体姿态变换矩阵。该数据集旨在支持空间推理任务的监督学习，初步侧重于推断 Z 轴距离，并且已公开可用，以推动具身人工智能在人机交互领域的研究。