Zhe Tao

ForeAct3D框架将机器人世界模型与计划动作相结合

研究人员开发了ForeAct3D，一个旨在提高机器人视觉-语言-动作（VLA）策略世界建模能力的新框架。与以往将未来观测独立于计划动作进行预测的方法不同，ForeAct3D将其未来世界预测与策略打算执行的具体动作相结合。该方法融入了物理约束，例如物体刚性和静态背景，以确保预测的未来状态是现实的。该框架在LIBERO和CALVIN等机器人基准测试中展示了显著的性能提升，并在实际操作任务中提高了成功率。