UniM2AE

新的预训练方法增强了自动驾驶的3D目标检测能力

研究人员开发了一种用于3D鸟瞰图目标检测的新预训练框架，这对于自动驾驶至关重要。该方法名为Semantics-Guided Multimodal Masked Autoencoder，利用语义信息来改进摄像头和LiDAR数据的处理方式。通过智能地掩码LiDAR数据并添加语义解码器，该框架显著提高了检测精度，在nuScenes数据集上的mAP和NDS方面相比现有基线取得了显著改进。