Visuo-Tactile policies

机器人通过新型触觉传感器中的运动相关性学习“看见”触觉

研究人员开发了一种新方法，使机器人能够通过分析触觉传感器中瞬时运动与累积运动的相关性来“看见”触觉。该方法旨在克服现有方法在感知上的模糊性，这些方法仅依赖于原始触觉图像或累积运动场。提出的运动感知触觉表示能够更好地区分细微的接触变化，从而增强了接触密集型操作能力。此外，还引入了一种使用Transformer混合架构的统一模态感知视觉-触觉策略，以有效融合视觉和触觉信息，同时保留模态特定的特征。