SA-WAM

新的SA-WAM模型将3D数据整合到机器人策略学习中

研究人员开发了一个空间感知世界动作模型（SA-WAM），该模型将3D几何信息整合到用于机器人策略学习的大规模预训练视频扩散模型中。该模型重新利用现有的视频扩散骨干网络来同时预测动作、RGB和深度，从而无需大量微调即可实现3D感知世界建模。SA-WAM在RoboCasa和LIBERO-Plus等基准测试中表现出最先进的性能，并在UR5机械臂上显示出强大的实际改进。