Vision-Language Agents (VLAs)

3DWay方法通过3D一致性航点增强机器人操作

研究人员开发了一种名为3DWay的新方法，通过从多视图图像预测3D一致性航点来改进机器人操作。该方法解决了现有方法在2D图像空间中预测轨迹常导致3D歧义的局限性。通过重新构建航点预测和使用几何三角测量，3DWay在利用预训练的视觉-语言模型的同时，实现了明确的3D运动规范。实验表明，3DWay显著增强了3D空间定位和视觉-语言推理能力，有望实现更具泛化性的机器人操作。