TSFormer

新数据集和框架增强自动驾驶中的三维视觉定位

研究人员推出了Talk2Sensors，这是一个用于自动驾驶中三维视觉定位的新型数据集和框架，它利用了多种传感器模态。该数据集包含超过8000条语言指令和20000个指代对象，专门设计用于匹配来自摄像头、LiDAR和4D雷达的传感器特定物理线索。提出的TSFormer框架采用粗粒度到细粒度的属性感知融合策略，能够根据语言要求动态路由外观、几何和运动线索，从而实现最先进的性能。