TransDex

TransDex策略使用视觉触觉融合进行透明物体操作

研究人员开发了TransDex，一种用于灵巧操作透明物体的、新颖的视觉触觉融合策略。该方法采用基于Transformer的自监督点云重建预训练方法，以准确恢复物体的三维结构，即使存在噪声和遮挡。TransDex策略结合了分层编码方案和多轮注意力机制，以融合来自机械臂和手部的特征，从而实现差异化的运动预测。在真实机器人系统上的实验表明，TransDex的性能优于现有方法，并展现出强大的泛化能力。