Visuo-Tactile policies

新AI模型推动触觉理解和视觉-触觉操作

研究人员开发了UniTac，这是一种新颖的统一多模态模型，专为跨不同传感器的触觉理解和生成而设计。该模型通过双层表示来捕捉传感器与物体之间的物理交互，使其能够执行物体属性描述和传感器识别等任务。此外，另一项研究引入了一种视觉-触觉策略，该策略利用光学触觉传感器产生的瞬时和累积运动之间的相关性来更好地区分细粒度接触状态。该方法旨在通过有效融合视觉和触觉数据来改进接触式操作。