cs.RO

新的ViTaL框架通过视觉和触觉增强机器人策略引导

研究人员开发了ViTaL，一个用于在部署期间引导预训练生成式机器人策略的新框架。该系统使用视觉和触觉信息来优化执行前的候选动作，解决了仅用视觉方法在富含接触的操作任务中的局限性。ViTaL将多模态引导构建为一个双层优化问题，其中视觉采样用于长时域模式选择，触觉引导的扩散编辑用于短时域精炼。该框架包含一个视觉-触觉潜在世界模型和学习到的验证器，包括一个文本条件触觉奖励，以提高在实际操作任务中的成功率。